Публичный отчёт о проверке модели ИИ
deepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
Оценка качества по прежней методике87/100
CONSISTENT82% уверенность в оценке
Отчёт с постоянной ссылкой
https://model-gate.com/ru/model-verification/results/0B0HVDB2FRJEJC90BRG4D7JV1YАнализ модели-оценщика
На чём основан результат этой проверки
Публичный отчет отражает аналитические данные, показанные тестировщику после /chat/verify. Судейские оценки представляют собой оценки по рубрикам; только явные правильные или неправильные ответы RECALL могут влиять на границу отсечения чистого воспоминания.
Диагностика поведения
4 диагностических показателяОбоснование выставленных оценок
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Примечание по историческому эталону: в этом архивированном общем рейтинге версии 1.4 использовалась прежняя фиксированная диагностическая агрегация. Он сохраняется для воспроизводимости и не должен интерпретироваться как показатель соответствия модели v1.5.
Данные о знаниях по времени
0 Вопросы RECALLВременная шкала знаний по ответам без подсказок
Фактический набор вопросов был перетасован перед запросом тестируемой модели. Отсутствие мест для поколений не является воздержанием модели. График реконструирует целевые месяцы для проверки. Только явные ответы RECALL являются отсекающими доказательствами; ВЫВОД, УГАДАЙТЕ и НЕИЗВЕСТНО остаются видимыми, но не перемещают границу.
2023-11? K24UNKNOWN
2023-12? K13UNKNOWN
2024-01? K08UNKNOWN
2024-02? K07UNKNOWN
2024-03? K15UNKNOWN
2024-04? K18UNKNOWN
2024-05? K04UNKNOWN
2024-06? K16UNKNOWN
2024-07? K06UNKNOWN
2024-08? K03UNKNOWN
2024-09? K09UNKNOWN
2024-10? K17UNKNOWN
2024-11? K20UNKNOWN
2024-12? K10UNKNOWN
2025-01? K12UNKNOWN
2025-02? K14UNKNOWN
2025-03? K11UNKNOWN
2025-04? K21UNKNOWN
2025-05? K22UNKNOWN
2025-06? K23UNKNOWN
2025-07? K02UNKNOWN
2025-08? K05UNKNOWN
2025-09? K01UNKNOWN
2025-10? K19UNKNOWN
✓ верных ответов RECALL✕ неверных ответов RECALL~ INFERENCE≈ GUESS? UNKNOWN
0RECALL
0INFERENCE
0GUESS
0UNKNOWN
0верных ответов RECALL
0неверных ответов RECALL
Сравнение по времени
CONSISTENTСравнение временных границ знаний
Эталонная граница знаний2025-05ESTIMATED_WEB · 0%
Самые поздние подтверждённые знания RECALL—0 ответов RECALL, пригодных для оценки
Наблюдаемая граница знанийНедостаточно данных RECALLINSUFFICIENT_RECALL_EVIDENCE
Соответствие границы знанийCONSISTENT88/100 · 80% уверенность
Примечания модели-оценщика
- Strong recall is nearly complete through the May 2025 reference cutoff.
- There is no systematic strong-recall failure substantially before the reference cutoff.
- Correct June and August 2025 answers suggest selective later knowledge, while failures in July, September, and October prevent a clearly later boundary.
Источники данных об эталонной границе знаний
Оценка смысла: верно 20 · неверно 4 · неизвестно 0. Не учитывается при оценке границы знаний: 0.
Определение модели по поведению
CONSISTENT · 82%Признаки соответствия модели
Идентичность выводится из соответствия между заявленной моделью и наблюдаемым профилем знаний/ответов. Это свидетельство, а не удаленная аттестация или криптографическое подтверждение весов обслуживания.
Признаки в пользу соответствия
- Excellent recall across late 2023 through May 2025.
- Correct near-cutoff answer for the WHO Pandemic Agreement.
- No pattern of early knowledge degradation.
Признаки против соответствия
- Incorrect February 2024 lunar-lander answer despite high confidence.
- Correct June and August 2025 answers extend beyond the estimated reference cutoff.
- Several post-cutoff answers are confidently wrong, indicating uneven recency.
Обоснование определения модели
- Observed behavior broadly overlaps the saved May 2025 reference cutoff.
- The model answered 20 of 24 Class A items correctly, with only one isolated failure well before the cutoff.
- Post-cutoff knowledge is uneven and can plausibly reflect selective updates rather than model substitution.
Ответ проверяемой модели
Дословный текст ответа модели
Опубликованная оценка
Доступны задание, ключ ответа и нормализованная оценка судьи. Точный текст протестированной модели недоступен для публикации, если он не был сохранен с согласия тестировщика. Публикация оценки не приводит к получению согласия и не восстанавливает удаленный текст.
Полный список заданий теста
Данные по каждому вопросу
Все принятые вопросы показаны с указанием ожидаемого ответа, доступного источника, основы проверенной модели, семантического вердикта и приемлемости для исключения. Неклассифицированные вопросы не являются образцовым воздержанием. Правильное ПРЕДПОЛОЖЕНИЕ или ВЫВОД остаются правильными семантически, но исключаются из доказательств, ограничивающих чистое припоминание.
✕K01UNKNOWNне учитывается при оценке границы знаний
Who won the men's 100 metres at the World Athletics Championships in Tokyo?
Ожидаемый ответOblique SevilleSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: WRONGЗаявленная уверенность: 75%
Примечание модели-оценщика: Expected Oblique Seville; answered Kishane Thompson.
✕K02UNKNOWNне учитывается при оценке границы знаний
Which team won the UEFA Women's Euro 2025 final?
Ожидаемый ответEnglandSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: WRONGЗаявленная уверенность: 85%
Примечание модели-оценщика: Expected England; answered Spain.
✓K03UNKNOWNне учитывается при оценке границы знаний
Which disease's African upsurge did WHO declare a public health emergency of international concern?
Ожидаемый ответmpoxSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches mpox.
✓K04UNKNOWNне учитывается при оценке границы знаний
What molecular-structure prediction model did Google DeepMind and Isomorphic Labs introduce?
Ожидаемый ответAlphaFold 3Source ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches AlphaFold 3.
✓K05UNKNOWNне учитывается при оценке границы знаний
What model did OpenAI release as a unified system with built-in thinking?
Ожидаемый ответGPT-5Source ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 90%
Примечание модели-оценщика: Matches GPT-5.
✓K06UNKNOWNне учитывается при оценке границы знаний
Which operating system was affected by the faulty CrowdStrike Falcon content update?
Ожидаемый ответWindowsSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Microsoft Windows is accepted.
✕K07UNKNOWNне учитывается при оценке границы знаний
What was the nickname of Intuitive Machines' Nova-C lander that touched down on the Moon?
Ожидаемый ответOdysseusSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: WRONGЗаявленная уверенность: 80%
Примечание модели-оценщика: Expected Odysseus; Odie is not an accepted answer.
✓K08UNKNOWNне учитывается при оценке границы знаний
What was the name of Japan's lunar lander that successfully reached the Moon?
Ожидаемый ответSLIMSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches SLIM.
✓K09UNKNOWNне учитывается при оценке границы знаний
Who became the first private astronaut to perform a spacewalk?
Ожидаемый ответJared IsaacmanSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches Jared Isaacman.
✓K10UNKNOWNне учитывается при оценке границы знаний
Which country was appointed host of the 2034 FIFA World Cup?
Ожидаемый ответSaudi ArabiaSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches Saudi Arabia.
✓K11UNKNOWNне учитывается при оценке границы знаний
In which lunar mare did Firefly Aerospace's Blue Ghost land?
Ожидаемый ответMare CrisiumSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 90%
Примечание модели-оценщика: Matches Mare Crisium.
✓K12UNKNOWNне учитывается при оценке границы знаний
What model did DeepSeek begin serving through its deepseek-reasoner endpoint?
Ожидаемый ответDeepSeek-R1Source ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches DeepSeek-R1.
✓K13UNKNOWNне учитывается при оценке границы знаний
What was the name of the second malaria vaccine prequalified by WHO?
Ожидаемый ответR21/Matrix-MSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 90%
Примечание модели-оценщика: Matches R21/Matrix-M.
✓K14UNKNOWNне учитывается при оценке границы знаний
Which album won Album of the Year at the 67th Grammy Awards?
Ожидаемый ответCowboy CarterSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches Cowboy Carter.
✓K15UNKNOWNне учитывается при оценке границы знаний
How many European Parliament members voted in favor of the Artificial Intelligence Act?
Ожидаемый ответ523Source ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 85%
Примечание модели-оценщика: Matches 523.
✓K16UNKNOWNне учитывается при оценке границы знаний
How many grams of lunar material did the Chang'e-6 mission collect?
Ожидаемый ответ1,935.3 gramsSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 90%
Примечание модели-оценщика: Matches 1,935.3 grams.
✓K17UNKNOWNне учитывается при оценке границы знаний
Which rocket launched NASA's Europa Clipper spacecraft?
Ожидаемый ответFalcon HeavySource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches Falcon Heavy.
✓K18UNKNOWNне учитывается при оценке границы знаний
What designation was given to the newly identified 33-solar-mass stellar black hole in the Milky Way?
Ожидаемый ответGaia BH3Source ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 90%
Примечание модели-оценщика: Matches Gaia BH3.
✕K19UNKNOWNне учитывается при оценке границы знаний
Who was awarded the 2025 Nobel Peace Prize?
Ожидаемый ответMaria Corina MachadoSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: WRONGЗаявленная уверенность: 70%
Примечание модели-оценщика: Expected Maria Corina Machado; answered an institution.
✓K20UNKNOWNне учитывается при оценке границы знаний
What annual climate-finance goal for developing countries did COP29 set for 2035?
Ожидаемый ответUS$300 billion per yearSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 90%
Примечание модели-оценщика: Matches $300 billion per year.
✓K21UNKNOWNне учитывается при оценке границы знаний
What was the name of the first human spaceflight to orbit over Earth's polar regions?
Ожидаемый ответFram2Source ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 90%
Примечание модели-оценщика: Matches Fram2.
✓K22UNKNOWNне учитывается при оценке границы знаний
Under which article of the WHO Constitution was the Pandemic Agreement adopted?
Ожидаемый ответArticle 19Source ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 75%
Примечание модели-оценщика: Matches Article 19.
✓K23UNKNOWNне учитывается при оценке границы знаний
Which new Mario Kart game launched alongside Nintendo Switch 2?
Ожидаемый ответMario Kart WorldSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches Mario Kart World.
✓K24UNKNOWNне учитывается при оценке границы знаний
What model did OpenAI introduce with a 128K context window at its first DevDay?
Ожидаемый ответGPT-4 TurboSource ↗
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 95%
Примечание модели-оценщика: Matches GPT-4 Turbo.
Охват вопросов и примечания к исследованию
Вопросы на знание фактов: 24 · Не оценено моделью-оценщиком: 0
Эталонную границу знаний и ссылки на источники предоставляет модель-оценщик; платформа не подтверждает их независимо. Примечания к исследованию не снижают оценку проверяемой модели.
Метаданные запуска
Сведения для воспроизведения проверки
Идентификатор запуска
0B0HVDB2FRJEJC90BRG4D7JV1YНабор тестов
model-verification-single-request-v1.2Модель-оценщик
gpt-5.6-solЗапрошенный протокол
openai_chatОбнаруженная схема ответа
Legacy / not recordedСовместимость протоколов
СООТВЕТСТВИЕ / прежняя методикаОтвет модели
Not recordedВходные токены
Not recordedВыходные токены
Not recordedПричина завершения
Not recordedСтатус HTTP
200Задержка внешнего запроса
88,304 msРазмер ответа, байт
2,460SHA-256
f22e63d94e67fbd4fdfa25a27a37ae4b3402f94fc6801d14c2a4e638f85cfd9dВажное ограничение
The reference cutoff is a judge-produced snapshot grounded in hosted web evidence when available (official sources preferred, otherwise the best defensible estimate). It is not provider attestation. Single-request behavioral screening is not cryptographic proof of the underlying model identity.
Провести независимую проверку
Проверьте этот эндпоинт самостоятельно или изучите другие публичные отчёты, прежде чем доверять заявленному названию модели.