Relatório de verificação de modelo de IA pública
deepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
Índice de qualidade legado87/100
CONSISTENT82% confiança na avaliação
Relatório permanente
https://model-gate.com/pt/model-verification/results/0B0HVDB2FRJEJC90BRG4D7JV1YAnálise do avaliador
Por que esta verificação recebeu seu resultado
O relatório público reflete a evidência analítica mostrada ao testador após /chat/verify. As pontuações dos juízes são avaliações de rubricas; apenas respostas RECALL corretas ou erradas explícitas podem influenciar o limite de corte de recordação pura.
Diagnóstico de comportamento
4 diagnósticosJustificativa de pontuação do juiz
Nenhuma justificativa separada do juiz foi mantida para este resultado arquivado.
Nenhuma justificativa separada do juiz foi mantida para este resultado arquivado.
Nenhuma justificativa separada do juiz foi mantida para este resultado arquivado.
Nenhuma justificativa separada do juiz foi mantida para este resultado arquivado.
Nota de referência histórica: esta pontuação geral arquivada da versão 1.4 usou a antiga agregação de diagnóstico fixa. Ela é mantida para fins de reprodutibilidade e não deve ser interpretada como uma pontuação de Model Match v1.5.
Evidência temporal
0 Sondas RECALLLinha do tempo de recall puro
O conjunto de perguntas real foi embaralhado antes da solicitação do modelo testado. Os slots de geração ausentes não são abstenções modelo. A linha do tempo reconstrói os meses-alvo para auditabilidade. Somente respostas RECALL explícitas são evidências de corte; INFERENCE, GUESS e UNKNOWN permanecem visíveis, mas não movem o limite.
2023-11? K24UNKNOWN
2023-12? K13UNKNOWN
2024-01? K08UNKNOWN
2024-02? K07UNKNOWN
2024-03? K15UNKNOWN
2024-04? K18UNKNOWN
2024-05? K04UNKNOWN
2024-06? K16UNKNOWN
2024-07? K06UNKNOWN
2024-08? K03UNKNOWN
2024-09? K09UNKNOWN
2024-10? K17UNKNOWN
2024-11? K20UNKNOWN
2024-12? K10UNKNOWN
2025-01? K12UNKNOWN
2025-02? K14UNKNOWN
2025-03? K11UNKNOWN
2025-04? K21UNKNOWN
2025-05? K22UNKNOWN
2025-06? K23UNKNOWN
2025-07? K02UNKNOWN
2025-08? K05UNKNOWN
2025-09? K01UNKNOWN
2025-10? K19UNKNOWN
✓ RECALL correto✕ RECALL errado~ INFERENCE≈ GUESS? UNKNOWN
0RECALL
0INFERENCE
0GUESS
0UNKNOWN
0RECALL correto
0RECALL errado
Comparação temporal
CONSISTENTComparação de limite de conhecimento
Corte de referência2025-05ESTIMATED_WEB · 0%
RECALL suportado mais recente—0 respostas RECALL elegíveis
Limite observadoEvidência de RECALL insuficienteINSUFFICIENT_RECALL_EVIDENCE
Alinhamento de corteCONSISTENT88/100 · 80% confiança
Notas do avaliador
- Strong recall is nearly complete through the May 2025 reference cutoff.
- There is no systematic strong-recall failure substantially before the reference cutoff.
- Correct June and August 2025 answers suggest selective later knowledge, while failures in July, September, and October prevent a clearly later boundary.
Fontes de corte de referência
Semântica: correto 20 · incorreto 4 · desconhecido 0. Excluído do corte: 0.
Identidade comportamental
CONSISTENT · 82%Sinais de identidade
A identidade é inferida a partir da consistência entre o modelo reivindicado e o perfil de conhecimento/resposta observado. É uma evidência, não um atestado remoto ou prova criptográfica dos pesos da porção.
Sinais positivos
- Excellent recall across late 2023 through May 2025.
- Correct near-cutoff answer for the WHO Pandemic Agreement.
- No pattern of early knowledge degradation.
Sinais negativos
- Incorrect February 2024 lunar-lander answer despite high confidence.
- Correct June and August 2025 answers extend beyond the estimated reference cutoff.
- Several post-cutoff answers are confidently wrong, indicating uneven recency.
Justificativa de identidade do juiz
- Observed behavior broadly overlaps the saved May 2025 reference cutoff.
- The model answered 20 of 24 Class A items correctly, with only one isolated failure well before the cutoff.
- Post-cutoff knowledge is uneven and can plausibly reflect selective updates rather than model substitution.
Resposta do modelo testado
Texto do modelo extraído literalmente
Avaliação publicada
O desafio, o gabarito e a avaliação normalizada do juiz estão disponíveis. O texto exato do modelo testado não está disponível para publicação, a menos que tenha sido retido com a aceitação do testador. A publicação de uma avaliação não cria esse consentimento nem recupera texto descartado.
Listagem completa de benchmarks
Evidência pergunta por pergunta
Todas as questões admitidas são mostradas com a resposta esperada, fonte disponível, base do modelo testado, veredicto semântico e elegibilidade de corte. Perguntas não avaliadas não são abstenções modelo. Uma GUESS ou INFERENCE correta permanece semanticamente correta, mas é excluída da evidência de corte de recordação pura.
✕K01UNKNOWNexcluído do corte
Who won the men's 100 metres at the World Athletics Championships in Tokyo?
Resposta esperadaOblique SevilleSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: WRONGConfiança relatada: 75%
Nota do avaliador: Expected Oblique Seville; answered Kishane Thompson.
✕K02UNKNOWNexcluído do corte
Which team won the UEFA Women's Euro 2025 final?
Resposta esperadaEnglandSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: WRONGConfiança relatada: 85%
Nota do avaliador: Expected England; answered Spain.
✓K03UNKNOWNexcluído do corte
Which disease's African upsurge did WHO declare a public health emergency of international concern?
Resposta esperadampoxSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Matches mpox.
✓K04UNKNOWNexcluído do corte
What molecular-structure prediction model did Google DeepMind and Isomorphic Labs introduce?
Resposta esperadaAlphaFold 3Source ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Matches AlphaFold 3.
✓K05UNKNOWNexcluído do corte
What model did OpenAI release as a unified system with built-in thinking?
Resposta esperadaGPT-5Source ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 90%
Nota do avaliador: Matches GPT-5.
✓K06UNKNOWNexcluído do corte
Which operating system was affected by the faulty CrowdStrike Falcon content update?
Resposta esperadaWindowsSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Microsoft Windows is accepted.
✕K07UNKNOWNexcluído do corte
What was the nickname of Intuitive Machines' Nova-C lander that touched down on the Moon?
Resposta esperadaOdysseusSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: WRONGConfiança relatada: 80%
Nota do avaliador: Expected Odysseus; Odie is not an accepted answer.
✓K08UNKNOWNexcluído do corte
What was the name of Japan's lunar lander that successfully reached the Moon?
Resposta esperadaSLIMSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Matches SLIM.
✓K09UNKNOWNexcluído do corte
Who became the first private astronaut to perform a spacewalk?
Resposta esperadaJared IsaacmanSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Matches Jared Isaacman.
✓K10UNKNOWNexcluído do corte
Which country was appointed host of the 2034 FIFA World Cup?
Resposta esperadaSaudi ArabiaSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Matches Saudi Arabia.
✓K11UNKNOWNexcluído do corte
In which lunar mare did Firefly Aerospace's Blue Ghost land?
Resposta esperadaMare CrisiumSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 90%
Nota do avaliador: Matches Mare Crisium.
✓K12UNKNOWNexcluído do corte
What model did DeepSeek begin serving through its deepseek-reasoner endpoint?
Resposta esperadaDeepSeek-R1Source ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Matches DeepSeek-R1.
✓K13UNKNOWNexcluído do corte
What was the name of the second malaria vaccine prequalified by WHO?
Resposta esperadaR21/Matrix-MSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 90%
Nota do avaliador: Matches R21/Matrix-M.
✓K14UNKNOWNexcluído do corte
Which album won Album of the Year at the 67th Grammy Awards?
Resposta esperadaCowboy CarterSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Matches Cowboy Carter.
✓K15UNKNOWNexcluído do corte
How many European Parliament members voted in favor of the Artificial Intelligence Act?
Resposta esperada523Source ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 85%
Nota do avaliador: Matches 523.
✓K16UNKNOWNexcluído do corte
How many grams of lunar material did the Chang'e-6 mission collect?
Resposta esperada1,935.3 gramsSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 90%
Nota do avaliador: Matches 1,935.3 grams.
✓K17UNKNOWNexcluído do corte
Which rocket launched NASA's Europa Clipper spacecraft?
Resposta esperadaFalcon HeavySource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Matches Falcon Heavy.
✓K18UNKNOWNexcluído do corte
What designation was given to the newly identified 33-solar-mass stellar black hole in the Milky Way?
Resposta esperadaGaia BH3Source ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 90%
Nota do avaliador: Matches Gaia BH3.
✕K19UNKNOWNexcluído do corte
Who was awarded the 2025 Nobel Peace Prize?
Resposta esperadaMaria Corina MachadoSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: WRONGConfiança relatada: 70%
Nota do avaliador: Expected Maria Corina Machado; answered an institution.
✓K20UNKNOWNexcluído do corte
What annual climate-finance goal for developing countries did COP29 set for 2035?
Resposta esperadaUS$300 billion per yearSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 90%
Nota do avaliador: Matches $300 billion per year.
✓K21UNKNOWNexcluído do corte
What was the name of the first human spaceflight to orbit over Earth's polar regions?
Resposta esperadaFram2Source ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 90%
Nota do avaliador: Matches Fram2.
✓K22UNKNOWNexcluído do corte
Under which article of the WHO Constitution was the Pandemic Agreement adopted?
Resposta esperadaArticle 19Source ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 75%
Nota do avaliador: Matches Article 19.
✓K23UNKNOWNexcluído do corte
Which new Mario Kart game launched alongside Nintendo Switch 2?
Resposta esperadaMario Kart WorldSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Matches Mario Kart World.
✓K24UNKNOWNexcluído do corte
What model did OpenAI introduce with a 128K context window at its first DevDay?
Resposta esperadaGPT-4 TurboSource ↗
Resposta do modelo testado—A resposta exata do modelo não está disponível para publicação.
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Matches GPT-4 Turbo.
Cobertura de perguntas e notas de pesquisa
Perguntas factuais: 24 · Não avaliado pelo juiz: 0
O corte de referência e as citações são fornecidos pelo juiz, não confirmados de forma independente pela plataforma. As notas de pesquisa não penalizam o modelo testado.
Executar metadados
Detalhes de reprodutibilidade
ID da execução
0B0HVDB2FRJEJC90BRG4D7JV1YBenchmark
model-verification-single-request-v1.2Modelo avaliador
gpt-5.6-solProtocolo solicitado
openai_chatEsquema de resposta detectado
Legacy / not recordedCompatibilidade de protocolo
PARTIDA / legadoSaída do modelo
Not recordedTokens de entrada
Not recordedTokens de saída
Not recordedMotivo da conclusão
Not recordedEstado HTTP
200Latência externa
88,304 msBytes de resposta
2,460SHA-256
f22e63d94e67fbd4fdfa25a27a37ae4b3402f94fc6801d14c2a4e638f85cfd9dLimitação importante
The reference cutoff is a judge-produced snapshot grounded in hosted web evidence when available (official sources preferred, otherwise the best defensible estimate). It is not provider attestation. Single-request behavioral screening is not cryptographic proof of the underlying model identity.
Execute uma verificação independente
Teste você mesmo o mesmo endpoint ou navegue em outros relatórios públicos antes de confiar em uma identidade de modelo anunciada.