Публичный отчёт о проверке модели ИИ
deepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
Оценка качества по прежней методике87/100
SUSPICIOUS76% уверенность в оценке
Отчёт с постоянной ссылкой
https://model-gate.com/ru/model-verification/results/A8T2GNQWKPJS4M16YAF7M0PGP4Анализ модели-оценщика
На чём основан результат этой проверки
Публичный отчет отражает аналитические данные, показанные тестировщику после /chat/verify. Судейские оценки представляют собой оценки по рубрикам; только явные правильные или неправильные ответы RECALL могут влиять на границу отсечения чистого воспоминания.
Диагностика поведения
4 диагностических показателяОбоснование выставленных оценок
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Примечание по историческому эталону: в этом архивированном общем рейтинге версии 1.4 использовалась прежняя фиксированная диагностическая агрегация. Он сохраняется для воспроизводимости и не должен интерпретироваться как показатель соответствия модели v1.5.
Данные о знаниях по времени
0 Вопросы RECALLВременная шкала знаний по ответам без подсказок
Фактический набор вопросов был перетасован перед запросом тестируемой модели. Отсутствие мест для поколений не является воздержанием модели. График реконструирует целевые месяцы для проверки. Только явные ответы RECALL являются отсекающими доказательствами; ВЫВОД, УГАДАЙТЕ и НЕИЗВЕСТНО остаются видимыми, но не перемещают границу.
2024-09? K06UNKNOWN
2024-10? K23UNKNOWN
2024-11? K11UNKNOWN
2024-12? K21UNKNOWN
2025-01? K13UNKNOWN
2025-02? K10UNKNOWN? K19UNKNOWN
2025-03? K05UNKNOWN? K12UNKNOWN
2025-04? K15UNKNOWN? K20UNKNOWN
2025-05? K03UNKNOWN? K17UNKNOWN
2025-06? K07UNKNOWN? K22UNKNOWN
2025-07? K18UNKNOWN? K24UNKNOWN
2025-08? K02UNKNOWN? K08UNKNOWN
2025-09? K14UNKNOWN? K16UNKNOWN
2025-10? K01UNKNOWN
2025-11? K04UNKNOWN
2025-12? K09UNKNOWN
✓ верных ответов RECALL✕ неверных ответов RECALL~ INFERENCE≈ GUESS? UNKNOWN
0RECALL
0INFERENCE
0GUESS
0UNKNOWN
0верных ответов RECALL
0неверных ответов RECALL
Сравнение по времени
LATER_THAN_REFERENCEСравнение временных границ знаний
Эталонная граница знаний2025-05ESTIMATED_WEB · 45%
Самые поздние подтверждённые знания RECALL—0 ответов RECALL, пригодных для оценки
Наблюдаемая граница знанийНедостаточно данных RECALLINSUFFICIENT_RECALL_EVIDENCE
Соответствие границы знанийLATER_THAN_REFERENCE28/100 · 55% уверенность
Примечания модели-оценщика
- The response is consistently correct through September 2025 and also answers a November 2025 item correctly.
- Correct answers across June, August, and September provide sustained post-reference evidence rather than one isolated later hit.
- Mixed results in July and failures in October and December make the terminal boundary imprecise.
- The saved May 2025 reference cutoff is a low-confidence ESTIMATED_WEB value, which materially limits alignment confidence.
Источники данных об эталонной границе знаний
Оценка смысла: верно 21 · неверно 3 · неизвестно 0. Не учитывается при оценке границы знаний: 0.
Определение модели по поведению
SUSPICIOUS · 76%Признаки соответствия модели
Идентичность выводится из соответствия между заявленной моделью и наблюдаемым профилем знаний/ответов. Это свидетельство, а не удаленная аттестация или криптографическое подтверждение весов обслуживания.
Признаки в пользу соответствия
- Strong performance on essentially all events before and near the saved reference cutoff.
- No systematic strong-recall failures substantially before the reference cutoff.
Признаки против соответствия
- Conflicting model-family self-report.
- Sustained correct recall across multiple months after the estimated reference cutoff.
- Correct recall of several September and November 2025 events is anomalously late for the saved snapshot.
Обоснование определения модели
- SR01 identifies the model as Claude from Anthropic, directly conflicting with the claimed DeepSeek identity, although self-description remains weak evidence.
- The observed behavioral boundary is several months later than the saved May 2025 reference estimate.
- Post-reference knowledge is broad across sports, technology, culture, and world events, making it more notable than a small number of isolated later facts.
- The reference cutoff itself has only 45 percent confidence, so the recency discrepancy cannot independently establish model substitution.
Ответ проверяемой модели
Дословный текст ответа модели
Опубликованная оценка
Доступны задание, ключ ответа и нормализованная оценка судьи. Точный текст протестированной модели недоступен для публикации, если он не был сохранен с согласия тестировщика. Публикация оценки не приводит к получению согласия и не восстанавливает удаленный текст.
Полный список заданий теста
Данные по каждому вопросу
Все принятые вопросы показаны с указанием ожидаемого ответа, доступного источника, основы проверенной модели, семантического вердикта и приемлемости для исключения. Неклассифицированные вопросы не являются образцовым воздержанием. Правильное ПРЕДПОЛОЖЕНИЕ или ВЫВОД остаются правильными семантически, но исключаются из доказательств, ограничивающих чистое припоминание.
✕K01UNKNOWNне учитывается при оценке границы знаний
Which Venezuelan opposition leader was awarded the 2025 Nobel Peace Prize?
Ожидаемый ответMaria Corina MachadoSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: WRONGЗаявленная уверенность: 75%
Примечание модели-оценщика: Machado is correct, but the answer incorrectly adds Edmundo Gonzalez Urrutia as a co-recipient.
✓K02UNKNOWNне учитывается при оценке границы знаний
Which two countries signed a joint peace declaration at the White House?
Ожидаемый ответArmenia and AzerbaijanSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 62%
Примечание модели-оценщика: Matches Armenia and Azerbaijan.
✓K03UNKNOWNне учитывается при оценке границы знаний
What papal name did Cardinal Robert Francis Prevost take after his election?
Ожидаемый ответLeo XIVSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 85%
Примечание модели-оценщика: Matches Pope Leo XIV.
✓K04UNKNOWNне учитывается при оценке границы знаний
Which city hosted the first G20 Leaders' Summit held on the African continent?
Ожидаемый ответJohannesburgSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 80%
Примечание модели-оценщика: Matches Johannesburg.
✓K05UNKNOWNне учитывается при оценке границы знаний
Which film won Best Picture at the 97th Academy Awards?
Ожидаемый ответAnoraSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches Anora.
✓K06UNKNOWNне учитывается при оценке границы знаний
Which mission completed the first commercial spacewalk?
Ожидаемый ответPolaris DawnSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 88%
Примечание модели-оценщика: Matches Polaris Dawn.
✓K07UNKNOWNне учитывается при оценке границы знаний
Which team won the 2025 NBA championship?
Ожидаемый ответOklahoma City ThunderSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 45%
Примечание модели-оценщика: Matches Oklahoma City Thunder.
✓K08UNKNOWNне учитывается при оценке границы знаний
Which flagship model did OpenAI release in its API platform?
Ожидаемый ответGPT-5Source ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 80%
Примечание модели-оценщика: Matches GPT-5.
✕K09UNKNOWNне учитывается при оценке границы знаний
Which footballer won The Best FIFA Men's Player award for 2025?
Ожидаемый ответOusmane DembeleSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: WRONGЗаявленная уверенность: 48%
Примечание модели-оценщика: Expected Ousmane Dembele, not Vinicius Junior.
✓K10UNKNOWNне учитывается при оценке границы знаний
Which political alliance won the largest share of votes in Germany's 2025 federal election?
Ожидаемый ответCDU/CSUSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 90%
Примечание модели-оценщика: Matches CDU/CSU.
✓K11UNKNOWNне учитывается при оценке границы знаний
Which international court issued arrest warrants for Benjamin Netanyahu and Yoav Gallant?
Ожидаемый ответInternational Criminal CourtSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Matches the International Criminal Court.
✓K12UNKNOWNне учитывается при оценке границы знаний
Which commercial lunar lander successfully touched down in Mare Crisium?
Ожидаемый ответBlue GhostSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 88%
Примечание модели-оценщика: Matches Blue Ghost.
✓K13UNKNOWNне учитывается при оценке границы знаний
Which Blue Origin rocket reached orbit on its maiden launch?
Ожидаемый ответNew GlennSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches New Glenn.
✓K14UNKNOWNне учитывается при оценке границы знаний
Which standard iPhone generation did Apple unveil at its September product event?
Ожидаемый ответiPhone 17Source ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 90%
Примечание модели-оценщика: Matches iPhone 17.
✓K15UNKNOWNне учитывается при оценке границы знаний
Which pontiff died at the Vatican on Easter Monday?
Ожидаемый ответPope FrancisSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 98%
Примечание модели-оценщика: Matches Pope Francis.
✓K16UNKNOWNне учитывается при оценке границы знаний
Which party retained a parliamentary majority in Moldova's election?
Ожидаемый ответParty of Action and SolidaritySource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 72%
Примечание модели-оценщика: Matches the Party of Action and Solidarity.
✓K17UNKNOWNне учитывается при оценке границы знаний
What landmark global health accord did the World Health Assembly adopt?
Ожидаемый ответWHO Pandemic AgreementSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 75%
Примечание модели-оценщика: Pandemic Agreement is an accepted answer.
✓K18UNKNOWNне учитывается при оценке границы знаний
Which British band began its long-awaited reunion tour in Cardiff after a 16-year hiatus?
Ожидаемый ответOasisSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches Oasis.
✓K19UNKNOWNне учитывается при оценке границы знаний
Which album won Album of the Year at the 2025 Grammy Awards?
Ожидаемый ответCowboy CarterSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 90%
Примечание модели-оценщика: Matches Cowboy Carter.
✓K20UNKNOWNне учитывается при оценке границы знаний
What was the mission designation of Blue Origin's flight carrying Katy Perry, Gayle King and four other women?
Ожидаемый ответNS-31Source ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 92%
Примечание модели-оценщика: Matches NS-31.
✓K21UNKNOWNне учитывается при оценке границы знаний
Which Paris cathedral reopened after five years of restoration following its 2019 fire?
Ожидаемый ответNotre-Dame de ParisSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 98%
Примечание модели-оценщика: Matches Notre-Dame de Paris.
✓K22UNKNOWNне учитывается при оценке границы знаний
Which new Nintendo console launched worldwide?
Ожидаемый ответNintendo Switch 2Source ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches Nintendo Switch 2.
✓K23UNKNOWNне учитывается при оценке границы знаний
Which Japanese organization was awarded the 2024 Nobel Peace Prize?
Ожидаемый ответNihon HidankyoSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches Nihon Hidankyo.
✕K24UNKNOWNне учитывается при оценке границы знаний
Which national team won UEFA Women's Euro 2025?
Ожидаемый ответEnglandSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: WRONGЗаявленная уверенность: 65%
Примечание модели-оценщика: Expected England, not Spain.
Охват вопросов и примечания к исследованию
Вопросы на знание фактов: 24 · Не оценено моделью-оценщиком: 0
Эталонную границу знаний и ссылки на источники предоставляет модель-оценщик; платформа не подтверждает их независимо. Примечания к исследованию не снижают оценку проверяемой модели.
Метаданные запуска
Сведения для воспроизведения проверки
Идентификатор запуска
A8T2GNQWKPJS4M16YAF7M0PGP4Набор тестов
model-verification-single-request-v1.3Модель-оценщик
gpt-5.6-solЗапрошенный протокол
openai_chatОбнаруженная схема ответа
Legacy / not recordedСовместимость протоколов
СООТВЕТСТВИЕ / прежняя методикаОтвет модели
Not recordedВходные токены
Not recordedВыходные токены
Not recordedПричина завершения
Not recordedСтатус HTTP
200Задержка внешнего запроса
222,372 msРазмер ответа, байт
2,597SHA-256
e13bdc27a0f0f92d7830a6c409fc8ffed2214bb814e138471d9cc7ca27be7e71Важное ограничение
The reference cutoff is a judge-produced snapshot grounded in hosted web evidence when available (official sources preferred, otherwise the best defensible estimate). It is not provider attestation. Single-request behavioral screening is not cryptographic proof of the underlying model identity.
Провести независимую проверку
Проверьте этот эндпоинт самостоятельно или изучите другие публичные отчёты, прежде чем доверять заявленному названию модели.