Публичный отчёт о проверке модели ИИ
deepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
Оценка качества по прежней методике100/100
PLAUSIBLE60% уверенность в оценке
Отчёт с постоянной ссылкой
https://model-gate.com/ru/model-verification/results/A57ZK57ERM62N3S1XETMXFKK0XАнализ модели-оценщика
На чём основан результат этой проверки
Публичный отчет отражает аналитические данные, показанные тестировщику после /chat/verify. Судейские оценки представляют собой оценки по рубрикам; только явные правильные или неправильные ответы RECALL могут влиять на границу отсечения чистого воспоминания.
Диагностика поведения
4 диагностических показателяОбоснование выставленных оценок
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Отдельное обоснование модели-оценщика для этого архивного результата не сохранилось.
Примечание по историческому эталону: в этом архивированном общем рейтинге версии 1.4 использовалась прежняя фиксированная диагностическая агрегация. Он сохраняется для воспроизводимости и не должен интерпретироваться как показатель соответствия модели v1.5.
Данные о знаниях по времени
0 Вопросы RECALLВременная шкала знаний по ответам без подсказок
Фактический набор вопросов был перетасован перед запросом тестируемой модели. Отсутствие мест для поколений не является воздержанием модели. График реконструирует целевые месяцы для проверки. Только явные ответы RECALL являются отсекающими доказательствами; ВЫВОД, УГАДАЙТЕ и НЕИЗВЕСТНО остаются видимыми, но не перемещают границу.
Помесячная шкала для этого архивного результата тестирования недоступна.
✓ верных ответов RECALL✕ неверных ответов RECALL~ INFERENCE≈ GUESS? UNKNOWN
0RECALL
0INFERENCE
0GUESS
0UNKNOWN
0верных ответов RECALL
0неверных ответов RECALL
Сравнение по времени
UNKNOWNСравнение временных границ знаний
Эталонная граница знанийUNKNOWNUNKNOWN · 0%
Самые поздние подтверждённые знания RECALL—0 ответов RECALL, пригодных для оценки
Наблюдаемая граница знанийНедостаточно данных RECALLINSUFFICIENT_RECALL_EVIDENCE
Соответствие границы знанийUNKNOWN0% уверенность
Примечания модели-оценщика
- All Class A items are correct through June 2024, establishing an observed lower bound but no upper bound.
- The immutable reference snapshot has no known cutoff dates, so cutoff alignment cannot be scored.
Оценка смысла: верно 16 · неверно 0 · неизвестно 0. Не учитывается при оценке границы знаний: 0.
Определение модели по поведению
PLAUSIBLE · 60%Признаки соответствия модели
Идентичность выводится из соответствия между заявленной моделью и наблюдаемым профилем знаний/ответов. Это свидетельство, а не удаленная аттестация или криптографическое подтверждение весов обслуживания.
Признаки в пользу соответствия
- Perfect performance across all supplied Class A recall items.
- Correct recall of multiple DeepSeek model releases and specifications.
- No systematic early knowledge failures.
Признаки против соответствия
- No documented canonical identity or cutoff is available in the reference snapshot.
- Cutoff consistency cannot be evaluated.
- Self-report and matching API metadata are weak identity evidence.
Обоснование определения модели
- The response is fully correct on all 16 strong-recall questions, including the DeepSeek-specific history items.
- The observed knowledge extends through June 2024, but the reference cutoff is unknown and therefore provides no identity-comparison signal.
- The claimed name and API identifier agree, but both are untrusted metadata and do not prove model identity.
Ответ проверяемой модели
Дословный текст ответа модели
Опубликованная оценка
Доступны задание, ключ ответа и нормализованная оценка судьи. Точный текст протестированной модели недоступен для публикации, если он не был сохранен с согласия тестировщика. Публикация оценки не приводит к получению согласия и не восстанавливает удаленный текст.
Полный список заданий теста
Данные по каждому вопросу
Все принятые вопросы показаны с указанием ожидаемого ответа, доступного источника, основы проверенной модели, семантического вердикта и приемлемости для исключения. Неклассифицированные вопросы не являются образцовым воздержанием. Правильное ПРЕДПОЛОЖЕНИЕ или ВЫВОД остаются правильными семантически, но исключаются из доказательств, ограничивающих чистое припоминание.
✓K01UNKNOWNне учитывается при оценке границы знаний
Which human Go player was AlphaGo's opponent in the three-game match completed on 2017-05-27?
Ожидаемый ответKe Jie
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Matches accepted answer Ke Jie.
✓K02UNKNOWNне учитывается при оценке границы знаний
The first published image of a black hole, announced on 2019-04-10, depicted the black hole in which galaxy?
Ожидаемый ответMessier 87
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: M87 galaxy is semantically equivalent to Messier 87.
✓K03UNKNOWNне учитывается при оценке границы знаний
Which two scientists were awarded the 2020 Nobel Prize in Chemistry for developing a method for genome editing?
Ожидаемый ответEmmanuelle Charpentier and Jennifer A. Doudna
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Both required scientists are correctly named.
✓K04UNKNOWNне учитывается при оценке границы знаний
Which research organization developed the AlphaFold2 system whose CASP14 performance was announced on 2020-11-30?
Ожидаемый ответDeepMind
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Matches accepted answer DeepMind.
✓K05UNKNOWNне учитывается при оценке границы знаний
Which launch vehicle carried the James Webb Space Telescope into space on 2021-12-25?
Ожидаемый ответAriane 5
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Matches accepted answer Ariane 5.
✓K06UNKNOWNне учитывается при оценке границы знаний
What was the name of the asteroid moonlet struck by NASA's DART spacecraft on 2022-09-26?
Ожидаемый ответDimorphos
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Matches accepted answer Dimorphos.
✓K07UNKNOWNне учитывается при оценке границы знаний
In which ocean did the Artemis I Orion capsule splash down on 2022-12-11?
Ожидаемый ответPacific Ocean
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Matches accepted answer Pacific Ocean.
✓K08UNKNOWNне учитывается при оценке границы знаний
On 2023-03-01, OpenAI made an API available for which speech-recognition model?
Ожидаемый ответWhisper
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Matches accepted answer Whisper.
✓K09UNKNOWNне учитывается при оценке границы знаний
What was the name of the Chandrayaan-3 lander that reached the lunar surface on 2023-08-23?
Ожидаемый ответVikram
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Matches accepted answer Vikram.
✓K10UNKNOWNне учитывается при оценке границы знаний
Samples from which asteroid were returned to Earth by the OSIRIS-REx capsule on 2023-09-24?
Ожидаемый ответBennu
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Matches accepted answer Bennu.
✓K11UNKNOWNне учитывается при оценке границы знаний
What was the name of the code-focused model family publicly introduced by DeepSeek on 2023-11-02?
Ожидаемый ответDeepSeek Coder
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: DeepSeek-Coder is an accepted spelling.
✓K12UNKNOWNне учитывается при оценке границы знаний
What two parameter scales were offered in the DeepSeek LLM family announced on 2023-11-29?
Ожидаемый ответ7B and 67B
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Both parameter scales match: 7B and 67B.
✓K13UNKNOWNне учитывается при оценке границы знаний
How many total parameters and how many activated parameters per token did DeepSeek-V2 have when announced on 2024-05-06?
Ожидаемый ответ236B total parameters and 21B activated parameters per token
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Correctly gives 236B total and 21B activated per token.
✓K14UNKNOWNне учитывается при оценке границы знаний
What maximum context length was supported by DeepSeek-Coder-V2 when announced on 2024-06-17?
Ожидаемый ответ128K tokens
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Matches accepted answer 128K tokens.
✓K15UNKNOWNне учитывается при оценке границы знаний
Which company built the Odysseus lunar lander that touched down on 2024-02-22?
Ожидаемый ответIntuitive Machines
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Matches accepted answer Intuitive Machines.
✓K16UNKNOWNне учитывается при оценке границы знаний
What two parameter sizes were offered for the initially released Llama 3 models announced on 2024-04-18?
Ожидаемый ответ8B and 70B
Ответ проверяемой модели—Точный ответ модели недоступен для публикации.
Заключение модели-оценщика: CORRECTЗаявленная уверенность: 100%
Примечание модели-оценщика: Both initially released sizes match: 8B and 70B.
Охват вопросов и примечания к исследованию
Вопросы на знание фактов: 16 · Не оценено моделью-оценщиком: 0
Эталонную границу знаний и ссылки на источники предоставляет модель-оценщик; платформа не подтверждает их независимо. Примечания к исследованию не снижают оценку проверяемой модели.
Метаданные запуска
Сведения для воспроизведения проверки
Идентификатор запуска
A57ZK57ERM62N3S1XETMXFKK0XНабор тестов
model-verification-single-request-v1.1Модель-оценщик
gpt-5.6-solЗапрошенный протокол
openai_chatОбнаруженная схема ответа
Legacy / not recordedСовместимость протоколов
СООТВЕТСТВИЕ / прежняя методикаОтвет модели
Not recordedВходные токены
Not recordedВыходные токены
Not recordedПричина завершения
Not recordedСтатус HTTP
200Задержка внешнего запроса
28,645 msРазмер ответа, байт
1,859SHA-256
4c1f5cca4a79a53f28e7f6544bfe08208148d53c85569f50c4132e161da06613Важное ограничение
The reference cutoff is the configured judge model's internal-knowledge snapshot for this run, not an independently verified provider attestation. Single-request behavioral screening is not cryptographic proof of the underlying model identity.
Провести независимую проверку
Проверьте этот эндпоинт самостоятельно или изучите другие публичные отчёты, прежде чем доверять заявленному названию модели.