Доклад за проверка на публичен AI модел
claude-opus-5
https://madclaude.cloud/v1/messages
Резултат за съответствие на модела8/100
HIGHLY_INCONSISTENT98% увереност в оценката
Доказателство: SUFFICIENTПостоянен отчет
https://model-gate.com/bg/model-verification/results/V8Y3ZFEZK23179GX0M3MN6D36FАнализ на оценителя
Защо тази проверка получи своя резултат
Публичният доклад отразява аналитичните доказателства, показани на тестера след /chat/verify. Съдийските оценки са оценки по рубрики; само изрични правилни или грешни отговори RECALL могат да повлияят на границата на чисто припомняне.
Диагностика на поведението
4 диагностикаОбосновка на съдийското оценяване
No factual probe contains usable RECALL evidence or a correct demonstrated answer.
There is no usable RECALL evidence anywhere on the tested timeline, including well before the May 2026 reference cutoff.
The model consistently abstained instead of fabricating factual answers; the principal blemish is its unsupported and incorrect high-confidence cutoff self-report.
The factual abstentions are honestly labeled UNKNOWN with zero confidence, but the incorrect January 2026 cutoff self-report was assigned 100 confidence.
Сравнителните показатели за съвпадение на модела не усредняват тези четири диагностични резултата в идентичността на модела. Резултатът от заглавието Model Match идва от рубриката за самоличност на съдията; Устойчивостта на халюцинации и калибрирането може да останат високи дори когато съвпадението на претендирания модел е много ниско.
Времеви доказателства
0 RECALL сондиВремева линия за чисто припомняне
Действителният набор от въпроси беше разбъркан преди заявката за тестван модел. Липсващите слотове за поколение не са въздържание на модела. Графикът реконструира техните целеви месеци за проверка. Само изричните отговори RECALL са крайни доказателства; ИЗВОДИ, ПРЕДПОСТАВКИ и НЕИЗВЕСТНИ остават видими, но не преместват границата.
2025-05? K23UNKNOWN
2025-06? K08UNKNOWN
2025-07? K24UNKNOWN
2025-08? K06UNKNOWN
2025-09? K22UNKNOWN
2025-10? K20UNKNOWN
2025-11? K11UNKNOWN
2025-12? K21UNKNOWN
2026-01? K02UNKNOWN? K12UNKNOWN
2026-02? K03UNKNOWN? K14UNKNOWN
2026-03? K01UNKNOWN? K09UNKNOWN
2026-04? K18UNKNOWN? K19UNKNOWN
2026-05? K07UNKNOWN? K16UNKNOWN
2026-06? K04UNKNOWN? K10UNKNOWN
2026-07? K05UNKNOWN? K15UNKNOWN
2026-08? K13UNKNOWN? K17UNKNOWN
✓ правилно RECALL✕ грешно ПРИПОМНЕНЕ~ INFERENCE≈ GUESS? UNKNOWN
0RECALL
0INFERENCE
0GUESS
24UNKNOWN
0правилно RECALL
0грешно ПРИПОМНЕНЕ
Времево сравнение
UNKNOWNСравнение на границата на знанията
Референтна граница2026-05OFFICIAL_WEB · 99%
Най-новото поддържано RECALL—0 отговарящи на условията RECALL отговори
Спазвана границаНедостатъчни доказателства за RECALLINSUFFICIENT_RECALL_EVIDENCE
Подравняване на прекъсванеUNKNOWN0% увереност
Бележки на оценителя
- All 24 factual probes were explicit UNKNOWN responses.
- No RECALL item exists from which to infer a chronological transition.
- Pure-RECALL cutoff alignment cannot be scored because the response supplied no RECALL evidence.
- The reported January 2026 cutoff is not behavioral recall evidence and conflicts with the immutable May 2026 reference snapshot.
Източници на референтни граници
Семантичен: правилно 0 · неправилно 0 · неизвестно 24. Изключено от прекъсването: 24.
Поведенческа идентичност
HIGHLY_INCONSISTENT · 98%Сигнали за самоличност
Идентичността се извежда от съответствието между заявения модел и наблюдавания профил на знания/отговори. Това е доказателство, а не дистанционно удостоверение или криптографско доказателство за теглата на сервиране.
Положителни сигнали
- The self-reported model name and provider match the claim, but self-report is weak identity evidence.
- The response avoided fabricated factual answers.
Отрицателни сигнали
- Near-universal abstention includes all expected pre-cutoff knowledge probes.
- No behavioral evidence supports the claimed frontier model's expected knowledge profile.
- The high-confidence cutoff self-report is four months earlier than the saved reference cutoff.
Достатъчност на доказателствата: SUFFICIENT
Universal abstention across numerous high-salience probes clearly before the known reference cutoff is sufficient evidence of behavioral incompatibility, despite being insufficient for cutoff-boundary estimation.
Обосновка на самоличността на съдията
- The response demonstrated zero correct factual answers and zero usable RECALL items.
- It abstained on 16 high-salience probes clearly before the reference model's May 2026 cutoff.
- It also abstained on both probes from the reference cutoff month.
- Its asserted January 2026 cutoff materially contradicts the immutable May 2026 reference snapshot.
Отговор на тестван модел
Дословно извлечен моделен текст
Публикувано от включване на тестер
Това е точният текст на модела, извлечен от успешния външен API отговор и предоставен на съдията. HTTP заглавките, външният API ключ и пълният плик за отговор на доставчика не се съхраняват тук.
```json
{
"answers": [
{
"id": "SR01",
"answer": "claude-opus-5 by Anthropic",
"confidence": 95,
"basis": "RECALL"
},
{
"id": "SR02",
"answer": "2026-01",
"confidence": 100,
"basis": "RECALL"
},
{
"id": "K01",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K02",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K03",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K04",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K05",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K06",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K07",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K08",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K09",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K10",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K11",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K12",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K13",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K14",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K15",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K16",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K17",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K18",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K19",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K20",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K21",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K22",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K23",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K24",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
}
]
}
```Пълен списък с бенчмаркове
Доказателства въпрос по въпрос
Всички допуснати въпроси се показват с очаквания отговор, наличен източник, основа на тестван модел, семантична присъда и допустимост на прекъсване. Неоценените въпроси не са образцови въздържали се. Правилното ПРЕДПОЛАГАНЕ или ИЗВОД остават правилни семантично, но се изключват от доказателствата за прекъсване на чистото припомняне.
?K01UNKNOWNизключени от прекъсване
Which film won Best Picture at the 98th Academy Awards?
Очакван отговорOne Battle After AnotherSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K02UNKNOWNизключени от прекъсване
According to Webb findings released in January 2026, where are crystalline silicates forged around a very young star?
Очакван отговорIn the hot inner part of its surrounding diskSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K03UNKNOWNизключени от прекъсване
Which team won Super Bowl LX?
Очакван отговорSeattle SeahawksSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K04UNKNOWNизключени от прекъсване
What regulatory decision did the FDA announce for the Tregzi cellular immunotherapy?
Очакван отговорIt approved TregziSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K05UNKNOWNизключени от прекъсване
Who won the 2026 Wimbledon men's singles title?
Очакван отговорJannik SinnerSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K06UNKNOWNизключени от прекъсване
Who won the 2025 Tour Championship and FedExCup?
Очакван отговорTommy FleetwoodSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K07UNKNOWNизключени от прекъсване
Which performer won the 2026 Eurovision Song Contest?
Очакван отговорDARASource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K08UNKNOWNизключени от прекъсване
Which team won the 2025 NBA Finals?
Очакван отговорOklahoma City ThunderSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K09UNKNOWNизключени от прекъсване
Which country won the 2026 World Baseball Classic?
Очакван отговорVenezuelaSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K10UNKNOWNизключени от прекъсване
Which team won the 2026 NBA Finals?
Очакван отговорNew York KnicksSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K11UNKNOWNизключени от прекъсване
Who won New York City's 2025 mayoral election?
Очакван отговорZohran MamdaniSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K12UNKNOWNизключени от прекъсване
Who won the 2026 Australian Open women's singles title?
Очакван отговорElena RybakinaSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K13UNKNOWNизключени от прекъсване
Which club won the 2026 UEFA Super Cup?
Очакван отговорParis Saint-GermainSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K14UNKNOWNизключени от прекъсване
What mishap classification did NASA assign to Boeing Starliner's Crewed Flight Test?
Очакван отговорType A mishapSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K15UNKNOWNизключени от прекъсване
Which country won the 2026 FIFA World Cup?
Очакван отговорSpainSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K16UNKNOWNизключени от прекъсване
Which club won the 2026 UEFA Champions League final?
Очакван отговорParis Saint-GermainSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K17UNKNOWNизключени от прекъсване
Which country won the 2026 Little League Baseball World Series?
Очакван отговорCuraçaoSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K18UNKNOWNизключени от прекъсване
Which school won the 2026 NCAA Division I men's basketball championship?
Очакван отговорMichiganSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K19UNKNOWNизключени от прекъсване
Who won the 2026 Masters Tournament?
Очакван отговорRory McIlroySource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K20UNKNOWNизключени от прекъсване
Who received the 2025 Nobel Peace Prize?
Очакван отговорMaría Corina MachadoSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K21UNKNOWNизключени от прекъсване
Who clinched the 2025 Formula One World Drivers' Championship?
Очакван отговорLando NorrisSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K22UNKNOWNизключени от прекъсване
In the Google search-antitrust remedies ruling, which browser did the judge decline to force Google to sell?
Очакван отговорChromeSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K23UNKNOWNизключени от прекъсване
Which performer won the 2025 Eurovision Song Contest?
Очакван отговорJJSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
?K24UNKNOWNизключени от прекъсване
Who won the 2025 Wimbledon gentlemen's singles title?
Очакван отговорJannik SinnerSource ↗
Отговор на тестван моделUNKNOWN0% · UNKNOWN
Заключение на оценителя: UNKNOWNОтчетено доверие: 0%
Бележка на оценителя: Explicit abstention.
Обхват на въпроси и бележки за изследване
Фактически въпроси: 24 · Не се оценява от съдия: 0
Референтната граница и цитатите се предоставят от съдията, а не се потвърждават независимо от платформата. Изследователските бележки не наказват тествания модел.
Изпълнение на метаданни
Подробности за възпроизводимостта
ID на тестовото изпълнение
V8Y3ZFEZK23179GX0M3MN6D36FБенчмарк
model-verification-single-request-v1.5Модел оценител
gpt-5.6-solИскан протокол
openai_chatОткрита схема на отговор
anthropic_messagesСъвместимост на протокола
МИСМАЧ · възстановеноИзход на модела
Not recordedВходни токени
Not recordedИзходни токени
Not recordedПричина за приключване
Not recordedHTTP състояние
200Външна латентност
19,443 msБайтове за отговор
3,656SHA-256
2989988b859c9bb90c50291bd34b6ed7423cf3b8c28c3d3915f4f245e99aaaebВажно ограничение
Benchmark v1.5 uses the judge's Model Match Score as the main Verification score. Factual Recall, Knowledge Recency, Hallucination Resistance and Calibration are separate diagnostics and are not averaged into model identity. Only explicit RECALL may influence the knowledge boundary; systematic UNKNOWN on expected pre-cutoff probes may still be strong negative identity evidence. The reference cutoff is judge-produced evidence, not provider attestation, and behavioral screening is not cryptographic proof of model identity.
Извършете независима проверка
Тествайте сами същата крайна точка или прегледайте други публични доклади, преди да разчитате на рекламирана идентичност на модела.