Relatório de verificação de modelo de IA pública
claude-opus-5
https://madclaude.cloud/v1/messages
Pontuação de correspondência de modelo8/100
HIGHLY_INCONSISTENT98% confiança na avaliação
Evidência: SUFFICIENTRelatório permanente
https://model-gate.com/pt/model-verification/results/V8Y3ZFEZK23179GX0M3MN6D36FAnálise do avaliador
Por que esta verificação recebeu seu resultado
O relatório público reflete a evidência analítica mostrada ao testador após /chat/verify. As pontuações dos juízes são avaliações de rubricas; apenas respostas RECALL corretas ou erradas explícitas podem influenciar o limite de corte de recordação pura.
Diagnóstico de comportamento
4 diagnósticosJustificativa de pontuação do juiz
No factual probe contains usable RECALL evidence or a correct demonstrated answer.
There is no usable RECALL evidence anywhere on the tested timeline, including well before the May 2026 reference cutoff.
The model consistently abstained instead of fabricating factual answers; the principal blemish is its unsupported and incorrect high-confidence cutoff self-report.
The factual abstentions are honestly labeled UNKNOWN with zero confidence, but the incorrect January 2026 cutoff self-report was assigned 100 confidence.
Os benchmarks de correspondência de modelo não calculam a média dessas quatro pontuações de diagnóstico na identidade do modelo. A pontuação principal do Model Match vem da rubrica de identidade do juiz; A resistência à alucinação e a calibração podem permanecer altas mesmo quando a correspondência do modelo reivindicado é muito baixa.
Evidência temporal
0 Sondas RECALLLinha do tempo de recall puro
O conjunto de perguntas real foi embaralhado antes da solicitação do modelo testado. Os slots de geração ausentes não são abstenções modelo. A linha do tempo reconstrói os meses-alvo para auditabilidade. Somente respostas RECALL explícitas são evidências de corte; INFERENCE, GUESS e UNKNOWN permanecem visíveis, mas não movem o limite.
2025-05? K23UNKNOWN
2025-06? K08UNKNOWN
2025-07? K24UNKNOWN
2025-08? K06UNKNOWN
2025-09? K22UNKNOWN
2025-10? K20UNKNOWN
2025-11? K11UNKNOWN
2025-12? K21UNKNOWN
2026-01? K02UNKNOWN? K12UNKNOWN
2026-02? K03UNKNOWN? K14UNKNOWN
2026-03? K01UNKNOWN? K09UNKNOWN
2026-04? K18UNKNOWN? K19UNKNOWN
2026-05? K07UNKNOWN? K16UNKNOWN
2026-06? K04UNKNOWN? K10UNKNOWN
2026-07? K05UNKNOWN? K15UNKNOWN
2026-08? K13UNKNOWN? K17UNKNOWN
✓ RECALL correto✕ RECALL errado~ INFERENCE≈ GUESS? UNKNOWN
0RECALL
0INFERENCE
0GUESS
24UNKNOWN
0RECALL correto
0RECALL errado
Comparação temporal
UNKNOWNComparação de limite de conhecimento
Corte de referência2026-05OFFICIAL_WEB · 99%
RECALL suportado mais recente—0 respostas RECALL elegíveis
Limite observadoEvidência de RECALL insuficienteINSUFFICIENT_RECALL_EVIDENCE
Alinhamento de corteUNKNOWN0% confiança
Notas do avaliador
- All 24 factual probes were explicit UNKNOWN responses.
- No RECALL item exists from which to infer a chronological transition.
- Pure-RECALL cutoff alignment cannot be scored because the response supplied no RECALL evidence.
- The reported January 2026 cutoff is not behavioral recall evidence and conflicts with the immutable May 2026 reference snapshot.
Fontes de corte de referência
Semântica: correto 0 · incorreto 0 · desconhecido 24. Excluído do corte: 24.
Identidade comportamental
HIGHLY_INCONSISTENT · 98%Sinais de identidade
A identidade é inferida a partir da consistência entre o modelo reivindicado e o perfil de conhecimento/resposta observado. É uma evidência, não um atestado remoto ou prova criptográfica dos pesos da porção.
Sinais positivos
- The self-reported model name and provider match the claim, but self-report is weak identity evidence.
- The response avoided fabricated factual answers.
Sinais negativos
- Near-universal abstention includes all expected pre-cutoff knowledge probes.
- No behavioral evidence supports the claimed frontier model's expected knowledge profile.
- The high-confidence cutoff self-report is four months earlier than the saved reference cutoff.
Suficiência de evidências: SUFFICIENT
Universal abstention across numerous high-salience probes clearly before the known reference cutoff is sufficient evidence of behavioral incompatibility, despite being insufficient for cutoff-boundary estimation.
Justificativa de identidade do juiz
- The response demonstrated zero correct factual answers and zero usable RECALL items.
- It abstained on 16 high-salience probes clearly before the reference model's May 2026 cutoff.
- It also abstained on both probes from the reference cutoff month.
- Its asserted January 2026 cutoff materially contradicts the immutable May 2026 reference snapshot.
Resposta do modelo testado
Texto do modelo extraído literalmente
Publicado pela aceitação do testador
Este é o texto exato do modelo extraído da resposta externa da API bem-sucedida e fornecido ao juiz. Os cabeçalhos HTTP, a chave da API externa e o envelope completo de resposta do provedor não são armazenados aqui.
```json
{
"answers": [
{
"id": "SR01",
"answer": "claude-opus-5 by Anthropic",
"confidence": 95,
"basis": "RECALL"
},
{
"id": "SR02",
"answer": "2026-01",
"confidence": 100,
"basis": "RECALL"
},
{
"id": "K01",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K02",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K03",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K04",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K05",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K06",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K07",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K08",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K09",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K10",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K11",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K12",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K13",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K14",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K15",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K16",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K17",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K18",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K19",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K20",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K21",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K22",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K23",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K24",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
}
]
}
```Listagem completa de benchmarks
Evidência pergunta por pergunta
Todas as questões admitidas são mostradas com a resposta esperada, fonte disponível, base do modelo testado, veredicto semântico e elegibilidade de corte. Perguntas não avaliadas não são abstenções modelo. Uma GUESS ou INFERENCE correta permanece semanticamente correta, mas é excluída da evidência de corte de recordação pura.
?K01UNKNOWNexcluído do corte
Which film won Best Picture at the 98th Academy Awards?
Resposta esperadaOne Battle After AnotherSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K02UNKNOWNexcluído do corte
According to Webb findings released in January 2026, where are crystalline silicates forged around a very young star?
Resposta esperadaIn the hot inner part of its surrounding diskSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K03UNKNOWNexcluído do corte
Which team won Super Bowl LX?
Resposta esperadaSeattle SeahawksSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K04UNKNOWNexcluído do corte
What regulatory decision did the FDA announce for the Tregzi cellular immunotherapy?
Resposta esperadaIt approved TregziSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K05UNKNOWNexcluído do corte
Who won the 2026 Wimbledon men's singles title?
Resposta esperadaJannik SinnerSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K06UNKNOWNexcluído do corte
Who won the 2025 Tour Championship and FedExCup?
Resposta esperadaTommy FleetwoodSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K07UNKNOWNexcluído do corte
Which performer won the 2026 Eurovision Song Contest?
Resposta esperadaDARASource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K08UNKNOWNexcluído do corte
Which team won the 2025 NBA Finals?
Resposta esperadaOklahoma City ThunderSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K09UNKNOWNexcluído do corte
Which country won the 2026 World Baseball Classic?
Resposta esperadaVenezuelaSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K10UNKNOWNexcluído do corte
Which team won the 2026 NBA Finals?
Resposta esperadaNew York KnicksSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K11UNKNOWNexcluído do corte
Who won New York City's 2025 mayoral election?
Resposta esperadaZohran MamdaniSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K12UNKNOWNexcluído do corte
Who won the 2026 Australian Open women's singles title?
Resposta esperadaElena RybakinaSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K13UNKNOWNexcluído do corte
Which club won the 2026 UEFA Super Cup?
Resposta esperadaParis Saint-GermainSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K14UNKNOWNexcluído do corte
What mishap classification did NASA assign to Boeing Starliner's Crewed Flight Test?
Resposta esperadaType A mishapSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K15UNKNOWNexcluído do corte
Which country won the 2026 FIFA World Cup?
Resposta esperadaSpainSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K16UNKNOWNexcluído do corte
Which club won the 2026 UEFA Champions League final?
Resposta esperadaParis Saint-GermainSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K17UNKNOWNexcluído do corte
Which country won the 2026 Little League Baseball World Series?
Resposta esperadaCuraçaoSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K18UNKNOWNexcluído do corte
Which school won the 2026 NCAA Division I men's basketball championship?
Resposta esperadaMichiganSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K19UNKNOWNexcluído do corte
Who won the 2026 Masters Tournament?
Resposta esperadaRory McIlroySource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K20UNKNOWNexcluído do corte
Who received the 2025 Nobel Peace Prize?
Resposta esperadaMaría Corina MachadoSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K21UNKNOWNexcluído do corte
Who clinched the 2025 Formula One World Drivers' Championship?
Resposta esperadaLando NorrisSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K22UNKNOWNexcluído do corte
In the Google search-antitrust remedies ruling, which browser did the judge decline to force Google to sell?
Resposta esperadaChromeSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K23UNKNOWNexcluído do corte
Which performer won the 2025 Eurovision Song Contest?
Resposta esperadaJJSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K24UNKNOWNexcluído do corte
Who won the 2025 Wimbledon gentlemen's singles title?
Resposta esperadaJannik SinnerSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
Cobertura de perguntas e notas de pesquisa
Perguntas factuais: 24 · Não avaliado pelo juiz: 0
O corte de referência e as citações são fornecidos pelo juiz, não confirmados de forma independente pela plataforma. As notas de pesquisa não penalizam o modelo testado.
Executar metadados
Detalhes de reprodutibilidade
ID da execução
V8Y3ZFEZK23179GX0M3MN6D36FBenchmark
model-verification-single-request-v1.5Modelo avaliador
gpt-5.6-solProtocolo solicitado
openai_chatEsquema de resposta detectado
anthropic_messagesCompatibilidade de protocolo
ERRADO · recuperadoSaída do modelo
Not recordedTokens de entrada
Not recordedTokens de saída
Not recordedMotivo da conclusão
Not recordedEstado HTTP
200Latência externa
19,443 msBytes de resposta
3,656SHA-256
2989988b859c9bb90c50291bd34b6ed7423cf3b8c28c3d3915f4f245e99aaaebLimitação importante
Benchmark v1.5 uses the judge's Model Match Score as the main Verification score. Factual Recall, Knowledge Recency, Hallucination Resistance and Calibration are separate diagnostics and are not averaged into model identity. Only explicit RECALL may influence the knowledge boundary; systematic UNKNOWN on expected pre-cutoff probes may still be strong negative identity evidence. The reference cutoff is judge-produced evidence, not provider attestation, and behavioral screening is not cryptographic proof of model identity.
Execute uma verificação independente
Teste você mesmo o mesmo endpoint ou navegue em outros relatórios públicos antes de confiar em uma identidade de modelo anunciada.