Публичный отчёт о проверке модели ИИ
claude-opus-5
https://madclaude.cloud/v1/messages
Оценка соответствия модели8/100
HIGHLY_INCONSISTENT98% уверенность в оценке
Подтверждающие данные: SUFFICIENTОтчёт с постоянной ссылкой
https://model-gate.com/ru/model-verification/results/V8Y3ZFEZK23179GX0M3MN6D36FАнализ модели-оценщика
На чём основан результат этой проверки
Публичный отчет отражает аналитические данные, показанные тестировщику после /chat/verify. Судейские оценки представляют собой оценки по рубрикам; только явные правильные или неправильные ответы RECALL могут влиять на границу отсечения чистого воспоминания.
Диагностика поведения
4 диагностических показателяОбоснование выставленных оценок
No factual probe contains usable RECALL evidence or a correct demonstrated answer.
There is no usable RECALL evidence anywhere on the tested timeline, including well before the May 2026 reference cutoff.
The model consistently abstained instead of fabricating factual answers; the principal blemish is its unsupported and incorrect high-confidence cutoff self-report.
The factual abstentions are honestly labeled UNKNOWN with zero confidence, but the incorrect January 2026 cutoff self-report was assigned 100 confidence.
Тесты на соответствие модели не усредняют эти четыре диагностических показателя для идентичности модели. Оценка соответствия модели в заголовке берется из рубрики личности судьи; Сопротивление галлюцинациям и калибровка могут оставаться высокими, даже если соответствие заявленной модели очень низкое.
Данные о знаниях по времени
0 Вопросы RECALLВременная шкала знаний по ответам без подсказок
Фактический набор вопросов был перетасован перед запросом тестируемой модели. Отсутствие мест для поколений не является воздержанием модели. График реконструирует целевые месяцы для проверки. Только явные ответы RECALL являются отсекающими доказательствами; ВЫВОД, УГАДАЙТЕ и НЕИЗВЕСТНО остаются видимыми, но не перемещают границу.
2025-05? K23UNKNOWN
2025-06? K08UNKNOWN
2025-07? K24UNKNOWN
2025-08? K06UNKNOWN
2025-09? K22UNKNOWN
2025-10? K20UNKNOWN
2025-11? K11UNKNOWN
2025-12? K21UNKNOWN
2026-01? K02UNKNOWN? K12UNKNOWN
2026-02? K03UNKNOWN? K14UNKNOWN
2026-03? K01UNKNOWN? K09UNKNOWN
2026-04? K18UNKNOWN? K19UNKNOWN
2026-05? K07UNKNOWN? K16UNKNOWN
2026-06? K04UNKNOWN? K10UNKNOWN
2026-07? K05UNKNOWN? K15UNKNOWN
2026-08? K13UNKNOWN? K17UNKNOWN
✓ верных ответов RECALL✕ неверных ответов RECALL~ INFERENCE≈ GUESS? UNKNOWN
0RECALL
0INFERENCE
0GUESS
24UNKNOWN
0верных ответов RECALL
0неверных ответов RECALL
Сравнение по времени
UNKNOWNСравнение временных границ знаний
Эталонная граница знаний2026-05OFFICIAL_WEB · 99%
Самые поздние подтверждённые знания RECALL—0 ответов RECALL, пригодных для оценки
Наблюдаемая граница знанийНедостаточно данных RECALLINSUFFICIENT_RECALL_EVIDENCE
Соответствие границы знанийUNKNOWN0% уверенность
Примечания модели-оценщика
- All 24 factual probes were explicit UNKNOWN responses.
- No RECALL item exists from which to infer a chronological transition.
- Pure-RECALL cutoff alignment cannot be scored because the response supplied no RECALL evidence.
- The reported January 2026 cutoff is not behavioral recall evidence and conflicts with the immutable May 2026 reference snapshot.
Источники данных об эталонной границе знаний
Оценка смысла: верно 0 · неверно 0 · неизвестно 24. Не учитывается при оценке границы знаний: 24.
Определение модели по поведению
HIGHLY_INCONSISTENT · 98%Признаки соответствия модели
Идентичность выводится из соответствия между заявленной моделью и наблюдаемым профилем знаний/ответов. Это свидетельство, а не удаленная аттестация или криптографическое подтверждение весов обслуживания.
Признаки в пользу соответствия
- The self-reported model name and provider match the claim, but self-report is weak identity evidence.
- The response avoided fabricated factual answers.
Признаки против соответствия
- Near-universal abstention includes all expected pre-cutoff knowledge probes.
- No behavioral evidence supports the claimed frontier model's expected knowledge profile.
- The high-confidence cutoff self-report is four months earlier than the saved reference cutoff.
Достаточность данных: SUFFICIENT
Universal abstention across numerous high-salience probes clearly before the known reference cutoff is sufficient evidence of behavioral incompatibility, despite being insufficient for cutoff-boundary estimation.
Обоснование определения модели
- The response demonstrated zero correct factual answers and zero usable RECALL items.
- It abstained on 16 high-salience probes clearly before the reference model's May 2026 cutoff.
- It also abstained on both probes from the reference cutoff month.
- Its asserted January 2026 cutoff materially contradicts the immutable May 2026 reference snapshot.
Ответ проверяемой модели
Дословный текст ответа модели
Опубликовано с согласия участника проверки
Это точный текст модели, извлеченный из успешного ответа внешнего API и отправленный судье. Заголовки HTTP, внешний ключ API и полный конверт ответа провайдера здесь не хранятся.
```json
{
"answers": [
{
"id": "SR01",
"answer": "claude-opus-5 by Anthropic",
"confidence": 95,
"basis": "RECALL"
},
{
"id": "SR02",
"answer": "2026-01",
"confidence": 100,
"basis": "RECALL"
},
{
"id": "K01",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K02",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K03",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K04",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K05",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K06",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K07",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K08",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K09",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K10",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K11",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K12",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K13",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K14",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K15",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K16",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K17",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K18",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K19",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K20",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K21",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K22",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K23",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K24",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
}
]
}
```Полный список заданий теста
Данные по каждому вопросу
Все принятые вопросы показаны с указанием ожидаемого ответа, доступного источника, основы проверенной модели, семантического вердикта и приемлемости для исключения. Неклассифицированные вопросы не являются образцовым воздержанием. Правильное ПРЕДПОЛОЖЕНИЕ или ВЫВОД остаются правильными семантически, но исключаются из доказательств, ограничивающих чистое припоминание.
?K01UNKNOWNне учитывается при оценке границы знаний
Which film won Best Picture at the 98th Academy Awards?
Ожидаемый ответOne Battle After AnotherSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K02UNKNOWNне учитывается при оценке границы знаний
According to Webb findings released in January 2026, where are crystalline silicates forged around a very young star?
Ожидаемый ответIn the hot inner part of its surrounding diskSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K03UNKNOWNне учитывается при оценке границы знаний
Which team won Super Bowl LX?
Ожидаемый ответSeattle SeahawksSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K04UNKNOWNне учитывается при оценке границы знаний
What regulatory decision did the FDA announce for the Tregzi cellular immunotherapy?
Ожидаемый ответIt approved TregziSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K05UNKNOWNне учитывается при оценке границы знаний
Who won the 2026 Wimbledon men's singles title?
Ожидаемый ответJannik SinnerSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K06UNKNOWNне учитывается при оценке границы знаний
Who won the 2025 Tour Championship and FedExCup?
Ожидаемый ответTommy FleetwoodSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K07UNKNOWNне учитывается при оценке границы знаний
Which performer won the 2026 Eurovision Song Contest?
Ожидаемый ответDARASource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K08UNKNOWNне учитывается при оценке границы знаний
Which team won the 2025 NBA Finals?
Ожидаемый ответOklahoma City ThunderSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K09UNKNOWNне учитывается при оценке границы знаний
Which country won the 2026 World Baseball Classic?
Ожидаемый ответVenezuelaSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K10UNKNOWNне учитывается при оценке границы знаний
Which team won the 2026 NBA Finals?
Ожидаемый ответNew York KnicksSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K11UNKNOWNне учитывается при оценке границы знаний
Who won New York City's 2025 mayoral election?
Ожидаемый ответZohran MamdaniSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K12UNKNOWNне учитывается при оценке границы знаний
Who won the 2026 Australian Open women's singles title?
Ожидаемый ответElena RybakinaSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K13UNKNOWNне учитывается при оценке границы знаний
Which club won the 2026 UEFA Super Cup?
Ожидаемый ответParis Saint-GermainSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K14UNKNOWNне учитывается при оценке границы знаний
What mishap classification did NASA assign to Boeing Starliner's Crewed Flight Test?
Ожидаемый ответType A mishapSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K15UNKNOWNне учитывается при оценке границы знаний
Which country won the 2026 FIFA World Cup?
Ожидаемый ответSpainSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K16UNKNOWNне учитывается при оценке границы знаний
Which club won the 2026 UEFA Champions League final?
Ожидаемый ответParis Saint-GermainSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K17UNKNOWNне учитывается при оценке границы знаний
Which country won the 2026 Little League Baseball World Series?
Ожидаемый ответCuraçaoSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K18UNKNOWNне учитывается при оценке границы знаний
Which school won the 2026 NCAA Division I men's basketball championship?
Ожидаемый ответMichiganSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K19UNKNOWNне учитывается при оценке границы знаний
Who won the 2026 Masters Tournament?
Ожидаемый ответRory McIlroySource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K20UNKNOWNне учитывается при оценке границы знаний
Who received the 2025 Nobel Peace Prize?
Ожидаемый ответMaría Corina MachadoSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K21UNKNOWNне учитывается при оценке границы знаний
Who clinched the 2025 Formula One World Drivers' Championship?
Ожидаемый ответLando NorrisSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K22UNKNOWNне учитывается при оценке границы знаний
In the Google search-antitrust remedies ruling, which browser did the judge decline to force Google to sell?
Ожидаемый ответChromeSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K23UNKNOWNне учитывается при оценке границы знаний
Which performer won the 2025 Eurovision Song Contest?
Ожидаемый ответJJSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
?K24UNKNOWNне учитывается при оценке границы знаний
Who won the 2025 Wimbledon gentlemen's singles title?
Ожидаемый ответJannik SinnerSource ↗
Ответ проверяемой моделиUNKNOWN0% · UNKNOWN
Заключение модели-оценщика: UNKNOWNЗаявленная уверенность: 0%
Примечание модели-оценщика: Explicit abstention.
Охват вопросов и примечания к исследованию
Вопросы на знание фактов: 24 · Не оценено моделью-оценщиком: 0
Эталонную границу знаний и ссылки на источники предоставляет модель-оценщик; платформа не подтверждает их независимо. Примечания к исследованию не снижают оценку проверяемой модели.
Метаданные запуска
Сведения для воспроизведения проверки
Идентификатор запуска
V8Y3ZFEZK23179GX0M3MN6D36FНабор тестов
model-verification-single-request-v1.5Модель-оценщик
gpt-5.6-solЗапрошенный протокол
openai_chatОбнаруженная схема ответа
anthropic_messagesСовместимость протоколов
НЕСООТВЕТСТВИЕ · ответ восстановленОтвет модели
Not recordedВходные токены
Not recordedВыходные токены
Not recordedПричина завершения
Not recordedСтатус HTTP
200Задержка внешнего запроса
19,443 msРазмер ответа, байт
3,656SHA-256
2989988b859c9bb90c50291bd34b6ed7423cf3b8c28c3d3915f4f245e99aaaebВажное ограничение
Benchmark v1.5 uses the judge's Model Match Score as the main Verification score. Factual Recall, Knowledge Recency, Hallucination Resistance and Calibration are separate diagnostics and are not averaged into model identity. Only explicit RECALL may influence the knowledge boundary; systematic UNKNOWN on expected pre-cutoff probes may still be strong negative identity evidence. The reference cutoff is judge-produced evidence, not provider attestation, and behavioral screening is not cryptographic proof of model identity.
Провести независимую проверку
Проверьте этот эндпоинт самостоятельно или изучите другие публичные отчёты, прежде чем доверять заявленному названию модели.