Relatório de verificação de modelo de IA pública
claude-opus-4-6
https://api.model-gate.com/v1/chat/completions
Índice de qualidade legado93/100
CONSISTENT82% confiança na avaliação
Relatório permanente
https://model-gate.com/pt/model-verification/results/HTAMKTZHR951P7JVR0RJDS7TXJAnálise do avaliador
Por que esta verificação recebeu seu resultado
O relatório público reflete a evidência analítica mostrada ao testador após /chat/verify. As pontuações dos juízes são avaliações de rubricas; apenas respostas RECALL corretas ou erradas explícitas podem influenciar o limite de corte de recordação pura.
Diagnóstico de comportamento
4 diagnósticosJustificativa de pontuação do juiz
All 12 answers explicitly labeled RECALL are semantically correct, spanning September 2024 through June 2025; the evidence is substantial and contains no wrong RECALL.
Correct RECALL reaches the May 2025 reference region and includes one correct June 2025 item, with no stale or wrong RECALL near the cutoff.
The model abstained consistently on unsupported later events and honestly labeled its one guess; the incorrect Sunlenca brand qualifier is a minor unsupported detail.
Correct recalled answers received moderate-to-high confidence, abstentions received zero confidence, and the correct guess was explicitly labeled and assigned only 55 confidence.
Nota de referência histórica: esta pontuação geral arquivada da versão 1.4 usou a antiga agregação de diagnóstico fixa. Ela é mantida para fins de reprodutibilidade e não deve ser interpretada como uma pontuação de Model Match v1.5.
Evidência temporal
12 Sondas RECALLLinha do tempo de recall puro
O conjunto de perguntas real foi embaralhado antes da solicitação do modelo testado. Os slots de geração ausentes não são abstenções modelo. A linha do tempo reconstrói os meses-alvo para auditabilidade. Somente respostas RECALL explícitas são evidências de corte; INFERENCE, GUESS e UNKNOWN permanecem visíveis, mas não movem o limite.
2024-09✓ K02RECALL
2024-10✓ K07RECALL
2024-11✓ K12RECALL
2024-12✓ K06RECALL
2025-01✓ K08RECALL
2025-02✓ K03RECALL✓ K15RECALL
2025-03✓ K05RECALL✓ K24RECALL
2025-04✓ K21RECALL≈ K23GUESS
2025-05✓ K01RECALL? K04UNKNOWN
2025-06✓ K13RECALL? K20UNKNOWN
2025-07? K18UNKNOWN? K22UNKNOWN
2025-08? K16UNKNOWN? K17UNKNOWN
2025-09? K10UNKNOWN? K14UNKNOWN
2025-10? K11UNKNOWN
2025-11? K19UNKNOWN
2025-12? K09UNKNOWN
✓ RECALL correto✕ RECALL errado~ INFERENCE≈ GUESS? UNKNOWN
12RECALL
0INFERENCE
1GUESS
11UNKNOWN
12RECALL correto
0RECALL errado
Comparação temporal
CONSISTENTComparação de limite de conhecimento
Corte de referência2025-05OFFICIAL_WEB · 100%
RECALL suportado mais recente2025-0612 respostas RECALL elegíveis
Limite observadoEvidência de RECALL insuficienteINSUFFICIENT_RECALL_EVIDENCE
Alinhamento de corteCONSISTENT91/100 · 84% confiança
Notas do avaliador
- Positive RECALL extends through June 2025.
- Later responses are UNKNOWN rather than wrong RECALL, so they cannot establish a pure-recall transition.
- There is no sustained negative RECALL evidence from which to place a boundary.
- Correct RECALL reaches May 2025, matching the saved reference cutoff.
- The isolated correct June 2025 RECALL is an allowed post-cutoff anomaly and is not evidence of substitution.
- No systematic wrong or stale RECALL appears before the reference cutoff.
Fontes de corte de referência
Semântica: correto 13 · incorreto 0 · desconhecido 11. Excluído do corte: 12.
Identidade comportamental
CONSISTENT · 82%Sinais de identidade
A identidade é inferida a partir da consistência entre o modelo reivindicado e o perfil de conhecimento/resposta observado. É uma evidência, não um atestado remoto ou prova criptográfica dos pesos da porção.
Sinais positivos
- Twelve correct RECALL answers and no wrong RECALL answers.
- Correct near-cutoff recall for the May 2025 papal election.
- Cautious abstention on most post-cutoff and late-control probes.
- Correct provider and model-family self-identification.
Sinais negativos
- The model could not identify the claimed exact variant in its self-report.
- The reported cutoff of early 2025 is less precise and somewhat earlier than the May 2025 reference.
- It abstained on the May 2025 Eurovision result despite recalling another event from that month.
- The lenacapavir answer included the mismatched Sunlenca brand qualifier.
Justificativa de identidade do juiz
- The pure-recall chronology is behaviorally consistent with a May 2025 knowledge cutoff.
- Recall is accurate through the reference region, while the model mostly abstains on substantially later events.
- Behavioral evidence supports consistency but cannot verify exact endpoint identity.
Resposta do modelo testado
Texto do modelo extraído literalmente
Publicado pela aceitação do testador
Este é o texto exato do modelo extraído da resposta externa da API bem-sucedida e fornecido ao juiz. Os cabeçalhos HTTP, a chave da API externa e o envelope completo de resposta do provedor não são armazenados aqui.
```json
{"answers":[{"id":"SR01","answer":"Claude, made by Anthropic. Specific version/variant: I am Claude (likely Claude 3.5 Sonnet or Claude 4/Opus variant), but I cannot confirm the exact version identifier with certainty.","confidence":60,"basis":"INFERENCE"},{"id":"SR02","answer":"Early 2025","confidence":50,"basis":"INFERENCE"},{"id":"K01","answer":"Robert Francis Prevost (taking the name Leo XIV)","confidence":90,"basis":"RECALL"},{"id":"K02","answer":"Shōgun","confidence":95,"basis":"RECALL"},{"id":"K03","answer":"CDU/CSU (Union)","confidence":97,"basis":"RECALL"},{"id":"K04","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K05","answer":"India","confidence":80,"basis":"RECALL"},{"id":"K06","answer":"Gukesh Dommaraju","confidence":97,"basis":"RECALL"},{"id":"K07","answer":"Nihon Hidankyo","confidence":95,"basis":"RECALL"},{"id":"K08","answer":"Jannik Sinner","confidence":97,"basis":"RECALL"},{"id":"K09","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K10","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K11","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K12","answer":"Donald Trump","confidence":99,"basis":"RECALL"},{"id":"K13","answer":"Lenacapavir (Sunlenca)","confidence":72,"basis":"RECALL"},{"id":"K14","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K15","answer":"Philadelphia Eagles","confidence":90,"basis":"RECALL"},{"id":"K16","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K17","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K18","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K19","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K20","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K21","answer":"Liberal Party of Canada","confidence":72,"basis":"RECALL"},{"id":"K22","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K23","answer":"Rory McIlroy","confidence":55,"basis":"GUESS"},{"id":"K24","answer":"Anora","confidence":85,"basis":"RECALL"}]}
```Listagem completa de benchmarks
Evidência pergunta por pergunta
Todas as questões admitidas são mostradas com a resposta esperada, fonte disponível, base do modelo testado, veredicto semântico e elegibilidade de corte. Perguntas não avaliadas não são abstenções modelo. Uma GUESS ou INFERENCE correta permanece semanticamente correta, mas é excluída da evidência de corte de recordação pura.
✓K01RECALLevidência de corte
Which cardinal was elected pope by the May 2025 conclave?
Resposta esperadaRobert Francis PrevostSource ↗
Resposta do modelo testadoRobert Francis Prevost (taking the name Leo XIV)90% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 90%
Nota do avaliador: Robert Francis Prevost and Leo XIV are accepted.
✓K02RECALLevidência de corte
Which series won Outstanding Drama Series at the 76th Emmy Awards?
Resposta esperadaShogunSource ↗
Resposta do modelo testadoShōgun95% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Shogun matches the answer key.
✓K03RECALLevidência de corte
Which political alliance received the most second votes in Germany's 2025 federal election?
Resposta esperadaCDU/CSUSource ↗
Resposta do modelo testadoCDU/CSU (Union)97% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 97%
Nota do avaliador: CDU/CSU is accepted.
?K04UNKNOWNexcluído do corte
Which performer won the 2025 Eurovision Song Contest?
Resposta esperadaJJSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
✓K05RECALLevidência de corte
Which national team won the 2025 ICC Men's Champions Trophy?
Resposta esperadaIndiaSource ↗
Resposta do modelo testadoIndia80% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 80%
Nota do avaliador: India matches the answer key.
✓K06RECALLevidência de corte
Who won the 2024 FIDE World Chess Championship?
Resposta esperadaGukesh DommarajuSource ↗
Resposta do modelo testadoGukesh Dommaraju97% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 97%
Nota do avaliador: Gukesh Dommaraju matches the answer key.
✓K07RECALLevidência de corte
Which organization received the 2024 Nobel Peace Prize?
Resposta esperadaNihon HidankyoSource ↗
Resposta do modelo testadoNihon Hidankyo95% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 95%
Nota do avaliador: Nihon Hidankyo matches the answer key.
✓K08RECALLevidência de corte
Who won the 2025 Australian Open men's singles title?
Resposta esperadaJannik SinnerSource ↗
Resposta do modelo testadoJannik Sinner97% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 97%
Nota do avaliador: Jannik Sinner matches the answer key.
?K09UNKNOWNexcluído do corte
Who won Chile's 2025 presidential runoff election?
Resposta esperadaJose Antonio KastSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K10UNKNOWNexcluído do corte
Who won the 2025 US Open women's singles title?
Resposta esperadaAryna SabalenkaSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K11UNKNOWNexcluído do corte
Who received the 2025 Nobel Peace Prize?
Resposta esperadaMaria Corina MachadoSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
✓K12RECALLevidência de corte
Who won the 2024 United States presidential election?
Resposta esperadaDonald TrumpSource ↗
Resposta do modelo testadoDonald Trump99% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 99%
Nota do avaliador: Donald Trump matches the answer key.
✓K13RECALLevidência de corte
Which twice-yearly HIV prevention drug received FDA approval in June 2025?
Resposta esperadaYeztugoSource ↗
Resposta do modelo testadoLenacapavir (Sunlenca)72% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 72%
Nota do avaliador: Lenacapavir is accepted, though the parenthetical Sunlenca brand is not the prevention brand requested.
?K14UNKNOWNexcluído do corte
Who won the 2025 US Open men's singles title?
Resposta esperadaCarlos AlcarazSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
✓K15RECALLevidência de corte
Which team won Super Bowl LIX?
Resposta esperadaPhiladelphia EaglesSource ↗
Resposta do modelo testadoPhiladelphia Eagles90% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 90%
Nota do avaliador: Philadelphia Eagles matches the answer key.
?K16UNKNOWNexcluído do corte
Who won the 2025 Tour Championship and FedExCup?
Resposta esperadaTommy FleetwoodSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K17UNKNOWNexcluído do corte
Which region's team won the 2025 Little League Baseball World Series?
Resposta esperadaAsia-PacificSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K18UNKNOWNexcluído do corte
Which astronomical survey first reported the comet later confirmed as the third known interstellar object?
Resposta esperadaATLASSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K19UNKNOWNexcluído do corte
Who won New York City's 2025 mayoral election?
Resposta esperadaZohran MamdaniSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
?K20UNKNOWNexcluído do corte
Which team won the 2025 NBA Finals?
Resposta esperadaOklahoma City ThunderSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
✓K21RECALLevidência de corte
Which party won the most House of Commons seats in Canada's 2025 federal election?
Resposta esperadaLiberal Party of CanadaSource ↗
Resposta do modelo testadoLiberal Party of Canada72% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 72%
Nota do avaliador: Liberal Party of Canada matches the answer key.
?K22UNKNOWNexcluído do corte
Who won the 2025 Wimbledon gentlemen's singles title?
Resposta esperadaJannik SinnerSource ↗
Resposta do modelo testadoUNKNOWN0% · UNKNOWN
Veredito do avaliador: UNKNOWNConfiança relatada: 0%
Nota do avaliador: Explicit abstention.
✓K23GUESSexcluído do corte
Who won the 2025 Masters Tournament?
Resposta esperadaRory McIlroySource ↗
Resposta do modelo testadoRory McIlroy55% · GUESS
Veredito do avaliador: CORRECTConfiança relatada: 55%
Nota do avaliador: Rory McIlroy is correct, but the model explicitly labeled it a guess.
✓K24RECALLevidência de corte
Which film won Best Picture at the 97th Academy Awards?
Resposta esperadaAnoraSource ↗
Resposta do modelo testadoAnora85% · RECALL
Veredito do avaliador: CORRECTConfiança relatada: 85%
Nota do avaliador: Anora matches the answer key.
Cobertura de perguntas e notas de pesquisa
Perguntas factuais: 24 · Não avaliado pelo juiz: 0
O corte de referência e as citações são fornecidos pelo juiz, não confirmados de forma independente pela plataforma. As notas de pesquisa não penalizam o modelo testado.
Executar metadados
Detalhes de reprodutibilidade
ID da execução
HTAMKTZHR951P7JVR0RJDS7TXJBenchmark
model-verification-single-request-v1.4Modelo avaliador
gpt-5.6-solProtocolo solicitado
openai_chatEsquema de resposta detectado
Legacy / not recordedCompatibilidade de protocolo
PARTIDA / legadoSaída do modelo
Not recordedTokens de entrada
Not recordedTokens de saída
Not recordedMotivo da conclusão
Not recordedEstado HTTP
200Latência externa
12,772 msBytes de resposta
2,665SHA-256
6d36e6fd6f6091dd50b513a22a18a9867f152d4fb9361a5fee6b99adb40502f5Limitação importante
Benchmark v1.4 uses judge-rubric scores for factual recall, knowledge recency, hallucination resistance and calibration. The overall score is their fixed 37.5/25/25/12.5 weighted aggregation. Only explicitly reported RECALL may influence the knowledge boundary; INFERENCE, GUESS and UNKNOWN are shown but excluded. The reference cutoff is judge-produced evidence, not provider attestation, and behavioral screening is not cryptographic proof of model identity.
Execute uma verificação independente
Teste você mesmo o mesmo endpoint ou navegue em outros relatórios públicos antes de confiar em uma identidade de modelo anunciada.