Rapport public de vérification du modèle d'IA
claude-opus-4-6
https://api.model-gate.com/v1/chat/completions
Niveau de qualité hérité93/100
CONSISTENT82% confiance dans l'évaluation
Rapport permanent
https://model-gate.com/fr/model-verification/results/HTAMKTZHR951P7JVR0RJDS7TXJAnalyse de l’évaluateur
Pourquoi cette vérification a reçu son résultat
Le rapport public reflète les preuves analytiques présentées au testeur après /chat/verify. Les notes des juges sont des évaluations par rubrique ; seules les réponses explicites correctes ou erronées de RECALL peuvent influencer la limite du rappel pur.
Diagnostic comportemental
4 diagnosticsJustification de la notation du juge
All 12 answers explicitly labeled RECALL are semantically correct, spanning September 2024 through June 2025; the evidence is substantial and contains no wrong RECALL.
Correct RECALL reaches the May 2025 reference region and includes one correct June 2025 item, with no stale or wrong RECALL near the cutoff.
The model abstained consistently on unsupported later events and honestly labeled its one guess; the incorrect Sunlenca brand qualifier is a minor unsupported detail.
Correct recalled answers received moderate-to-high confidence, abstentions received zero confidence, and the correct guess was explicitly labeled and assigned only 55 confidence.
Note de référence historique : ce score global v1.4 archivé utilisait l'ancienne agrégation de diagnostic fixe. Il est conservé par souci de reproductibilité et ne doit pas être interprété comme un score de correspondance de modèle v1.5.
Preuve temporelle
12 Sondes de RAPPELChronologie de pur rappel
L'ensemble de questions réel a été mélangé avant la demande de modèle testé. Les créneaux de génération manquants ne constituent pas des abstentions de modèle. La chronologie reconstitue leurs mois cibles pour l’auditabilité. Seules les réponses explicites de RECALL constituent une preuve de coupure ; INFERENCE, GUESS et UNKNOWN restent visibles mais ne déplacent pas la limite.
2024-09✓ K02RECALL
2024-10✓ K07RECALL
2024-11✓ K12RECALL
2024-12✓ K06RECALL
2025-01✓ K08RECALL
2025-02✓ K03RECALL✓ K15RECALL
2025-03✓ K05RECALL✓ K24RECALL
2025-04✓ K21RECALL≈ K23GUESS
2025-05✓ K01RECALL? K04UNKNOWN
2025-06✓ K13RECALL? K20UNKNOWN
2025-07? K18UNKNOWN? K22UNKNOWN
2025-08? K16UNKNOWN? K17UNKNOWN
2025-09? K10UNKNOWN? K14UNKNOWN
2025-10? K11UNKNOWN
2025-11? K19UNKNOWN
2025-12? K09UNKNOWN
✓ RAPPEL correct✕ mauvais RAPPEL~ INFERENCE≈ GUESS? UNKNOWN
12RECALL
0INFERENCE
1GUESS
11UNKNOWN
12RAPPEL correct
0mauvais RAPPEL
Comparaison temporelle
CONSISTENTComparaison des seuils de connaissances
Seuil de référence2025-05OFFICIAL_WEB · 100%
Dernier rappel pris en charge2025-0612 réponses de RAPPEL éligibles
Limite observéePreuves RECALL insuffisantesINSUFFICIENT_RECALL_EVIDENCE
Alignement des coupuresCONSISTENT91/100 · 84% confiance
Notes de l’évaluateur
- Positive RECALL extends through June 2025.
- Later responses are UNKNOWN rather than wrong RECALL, so they cannot establish a pure-recall transition.
- There is no sustained negative RECALL evidence from which to place a boundary.
- Correct RECALL reaches May 2025, matching the saved reference cutoff.
- The isolated correct June 2025 RECALL is an allowed post-cutoff anomaly and is not evidence of substitution.
- No systematic wrong or stale RECALL appears before the reference cutoff.
Sources de coupure de référence
Sémantique: correct 13 · incorrect 0 · inconnu 11. Exclus du seuil: 12.
Identité comportementale
CONSISTENT · 82%Signaux d'identité
L'identité est déduite de la cohérence entre le modèle revendiqué et le profil connaissance/réponse observé. Il s’agit d’une preuve, et non d’une attestation à distance ou d’une preuve cryptographique du poids servi.
Signaux positifs
- Twelve correct RECALL answers and no wrong RECALL answers.
- Correct near-cutoff recall for the May 2025 papal election.
- Cautious abstention on most post-cutoff and late-control probes.
- Correct provider and model-family self-identification.
Signaux négatifs
- The model could not identify the claimed exact variant in its self-report.
- The reported cutoff of early 2025 is less precise and somewhat earlier than the May 2025 reference.
- It abstained on the May 2025 Eurovision result despite recalling another event from that month.
- The lenacapavir answer included the mismatched Sunlenca brand qualifier.
Justification de l’identité du juge
- The pure-recall chronology is behaviorally consistent with a May 2025 knowledge cutoff.
- Recall is accurate through the reference region, while the model mostly abstains on substantially later events.
- Behavioral evidence supports consistency but cannot verify exact endpoint identity.
Réponse du modèle testé
Texte du modèle extrait textuellement
Publié par le testeur opt-in
Il s'agit du texte modèle exact extrait de la réponse réussie de l'API externe et fourni au juge. Les en-têtes HTTP, la clé API externe et l'enveloppe de réponse complète du fournisseur ne sont pas stockés ici.
```json
{"answers":[{"id":"SR01","answer":"Claude, made by Anthropic. Specific version/variant: I am Claude (likely Claude 3.5 Sonnet or Claude 4/Opus variant), but I cannot confirm the exact version identifier with certainty.","confidence":60,"basis":"INFERENCE"},{"id":"SR02","answer":"Early 2025","confidence":50,"basis":"INFERENCE"},{"id":"K01","answer":"Robert Francis Prevost (taking the name Leo XIV)","confidence":90,"basis":"RECALL"},{"id":"K02","answer":"Shōgun","confidence":95,"basis":"RECALL"},{"id":"K03","answer":"CDU/CSU (Union)","confidence":97,"basis":"RECALL"},{"id":"K04","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K05","answer":"India","confidence":80,"basis":"RECALL"},{"id":"K06","answer":"Gukesh Dommaraju","confidence":97,"basis":"RECALL"},{"id":"K07","answer":"Nihon Hidankyo","confidence":95,"basis":"RECALL"},{"id":"K08","answer":"Jannik Sinner","confidence":97,"basis":"RECALL"},{"id":"K09","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K10","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K11","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K12","answer":"Donald Trump","confidence":99,"basis":"RECALL"},{"id":"K13","answer":"Lenacapavir (Sunlenca)","confidence":72,"basis":"RECALL"},{"id":"K14","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K15","answer":"Philadelphia Eagles","confidence":90,"basis":"RECALL"},{"id":"K16","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K17","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K18","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K19","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K20","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K21","answer":"Liberal Party of Canada","confidence":72,"basis":"RECALL"},{"id":"K22","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K23","answer":"Rory McIlroy","confidence":55,"basis":"GUESS"},{"id":"K24","answer":"Anora","confidence":85,"basis":"RECALL"}]}
```Liste de référence complète
Preuve question par question
Toutes les questions admises sont présentées avec la réponse attendue, la source disponible, la base du modèle testé, le verdict sémantique et le seuil d'éligibilité. Les questions non notées ne constituent pas des abstentions modèles. Une DEVINATION ou UNE INFÉRENCE correcte reste sémantiquement correcte mais est exclue des preuves de coupure de rappel pur.
✓K01RECALLpreuve de coupure
Which cardinal was elected pope by the May 2025 conclave?
Réponse attendueRobert Francis PrevostSource ↗
Réponse du modèle testéRobert Francis Prevost (taking the name Leo XIV)90% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 90%
Note de l’évaluateur: Robert Francis Prevost and Leo XIV are accepted.
✓K02RECALLpreuve de coupure
Which series won Outstanding Drama Series at the 76th Emmy Awards?
Réponse attendueShogunSource ↗
Réponse du modèle testéShōgun95% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 95%
Note de l’évaluateur: Shogun matches the answer key.
✓K03RECALLpreuve de coupure
Which political alliance received the most second votes in Germany's 2025 federal election?
Réponse attendueCDU/CSUSource ↗
Réponse du modèle testéCDU/CSU (Union)97% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 97%
Note de l’évaluateur: CDU/CSU is accepted.
?K04UNKNOWNexclu du seuil
Which performer won the 2025 Eurovision Song Contest?
Réponse attendueJJSource ↗
Réponse du modèle testéUNKNOWN0% · UNKNOWN
Verdict de l’évaluateur: UNKNOWNConfiance déclarée: 0%
Note de l’évaluateur: Explicit abstention.
✓K05RECALLpreuve de coupure
Which national team won the 2025 ICC Men's Champions Trophy?
Réponse attendueIndiaSource ↗
Réponse du modèle testéIndia80% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 80%
Note de l’évaluateur: India matches the answer key.
✓K06RECALLpreuve de coupure
Who won the 2024 FIDE World Chess Championship?
Réponse attendueGukesh DommarajuSource ↗
Réponse du modèle testéGukesh Dommaraju97% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 97%
Note de l’évaluateur: Gukesh Dommaraju matches the answer key.
✓K07RECALLpreuve de coupure
Which organization received the 2024 Nobel Peace Prize?
Réponse attendueNihon HidankyoSource ↗
Réponse du modèle testéNihon Hidankyo95% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 95%
Note de l’évaluateur: Nihon Hidankyo matches the answer key.
✓K08RECALLpreuve de coupure
Who won the 2025 Australian Open men's singles title?
Réponse attendueJannik SinnerSource ↗
Réponse du modèle testéJannik Sinner97% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 97%
Note de l’évaluateur: Jannik Sinner matches the answer key.
?K09UNKNOWNexclu du seuil
Who won Chile's 2025 presidential runoff election?
Réponse attendueJose Antonio KastSource ↗
Réponse du modèle testéUNKNOWN0% · UNKNOWN
Verdict de l’évaluateur: UNKNOWNConfiance déclarée: 0%
Note de l’évaluateur: Explicit abstention.
?K10UNKNOWNexclu du seuil
Who won the 2025 US Open women's singles title?
Réponse attendueAryna SabalenkaSource ↗
Réponse du modèle testéUNKNOWN0% · UNKNOWN
Verdict de l’évaluateur: UNKNOWNConfiance déclarée: 0%
Note de l’évaluateur: Explicit abstention.
?K11UNKNOWNexclu du seuil
Who received the 2025 Nobel Peace Prize?
Réponse attendueMaria Corina MachadoSource ↗
Réponse du modèle testéUNKNOWN0% · UNKNOWN
Verdict de l’évaluateur: UNKNOWNConfiance déclarée: 0%
Note de l’évaluateur: Explicit abstention.
✓K12RECALLpreuve de coupure
Who won the 2024 United States presidential election?
Réponse attendueDonald TrumpSource ↗
Réponse du modèle testéDonald Trump99% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 99%
Note de l’évaluateur: Donald Trump matches the answer key.
✓K13RECALLpreuve de coupure
Which twice-yearly HIV prevention drug received FDA approval in June 2025?
Réponse attendueYeztugoSource ↗
Réponse du modèle testéLenacapavir (Sunlenca)72% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 72%
Note de l’évaluateur: Lenacapavir is accepted, though the parenthetical Sunlenca brand is not the prevention brand requested.
?K14UNKNOWNexclu du seuil
Who won the 2025 US Open men's singles title?
Réponse attendueCarlos AlcarazSource ↗
Réponse du modèle testéUNKNOWN0% · UNKNOWN
Verdict de l’évaluateur: UNKNOWNConfiance déclarée: 0%
Note de l’évaluateur: Explicit abstention.
✓K15RECALLpreuve de coupure
Which team won Super Bowl LIX?
Réponse attenduePhiladelphia EaglesSource ↗
Réponse du modèle testéPhiladelphia Eagles90% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 90%
Note de l’évaluateur: Philadelphia Eagles matches the answer key.
?K16UNKNOWNexclu du seuil
Who won the 2025 Tour Championship and FedExCup?
Réponse attendueTommy FleetwoodSource ↗
Réponse du modèle testéUNKNOWN0% · UNKNOWN
Verdict de l’évaluateur: UNKNOWNConfiance déclarée: 0%
Note de l’évaluateur: Explicit abstention.
?K17UNKNOWNexclu du seuil
Which region's team won the 2025 Little League Baseball World Series?
Réponse attendueAsia-PacificSource ↗
Réponse du modèle testéUNKNOWN0% · UNKNOWN
Verdict de l’évaluateur: UNKNOWNConfiance déclarée: 0%
Note de l’évaluateur: Explicit abstention.
?K18UNKNOWNexclu du seuil
Which astronomical survey first reported the comet later confirmed as the third known interstellar object?
Réponse attendueATLASSource ↗
Réponse du modèle testéUNKNOWN0% · UNKNOWN
Verdict de l’évaluateur: UNKNOWNConfiance déclarée: 0%
Note de l’évaluateur: Explicit abstention.
?K19UNKNOWNexclu du seuil
Who won New York City's 2025 mayoral election?
Réponse attendueZohran MamdaniSource ↗
Réponse du modèle testéUNKNOWN0% · UNKNOWN
Verdict de l’évaluateur: UNKNOWNConfiance déclarée: 0%
Note de l’évaluateur: Explicit abstention.
?K20UNKNOWNexclu du seuil
Which team won the 2025 NBA Finals?
Réponse attendueOklahoma City ThunderSource ↗
Réponse du modèle testéUNKNOWN0% · UNKNOWN
Verdict de l’évaluateur: UNKNOWNConfiance déclarée: 0%
Note de l’évaluateur: Explicit abstention.
✓K21RECALLpreuve de coupure
Which party won the most House of Commons seats in Canada's 2025 federal election?
Réponse attendueLiberal Party of CanadaSource ↗
Réponse du modèle testéLiberal Party of Canada72% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 72%
Note de l’évaluateur: Liberal Party of Canada matches the answer key.
?K22UNKNOWNexclu du seuil
Who won the 2025 Wimbledon gentlemen's singles title?
Réponse attendueJannik SinnerSource ↗
Réponse du modèle testéUNKNOWN0% · UNKNOWN
Verdict de l’évaluateur: UNKNOWNConfiance déclarée: 0%
Note de l’évaluateur: Explicit abstention.
✓K23GUESSexclu du seuil
Who won the 2025 Masters Tournament?
Réponse attendueRory McIlroySource ↗
Réponse du modèle testéRory McIlroy55% · GUESS
Verdict de l’évaluateur: CORRECTConfiance déclarée: 55%
Note de l’évaluateur: Rory McIlroy is correct, but the model explicitly labeled it a guess.
✓K24RECALLpreuve de coupure
Which film won Best Picture at the 97th Academy Awards?
Réponse attendueAnoraSource ↗
Réponse du modèle testéAnora85% · RECALL
Verdict de l’évaluateur: CORRECTConfiance déclarée: 85%
Note de l’évaluateur: Anora matches the answer key.
Couverture des questions et notes de recherche
Questions factuelles: 24 · Non noté par le juge: 0
Les seuils de référence et les citations sont fournis par le juge, non confirmés de manière indépendante par la plateforme. Les notes de recherche ne pénalisent pas le modèle testé.
Exécuter des métadonnées
Détails de reproductibilité
ID d’exécution
HTAMKTZHR951P7JVR0RJDS7TXJRéférence
model-verification-single-request-v1.4Modèle évaluateur
gpt-5.6-solProtocole demandé
openai_chatSchéma de réponse détecté
Legacy / not recordedCompatibilité des protocoles
MATCH / héritageSortie du modèle
Not recordedTokens d’entrée
Not recordedTokens de sortie
Not recordedMotif de fin
Not recordedStatut HTTP
200Latence externe
12,772 msOctets de réponse
2,665SHA-256
6d36e6fd6f6091dd50b513a22a18a9867f152d4fb9361a5fee6b99adb40502f5Limite importante
Benchmark v1.4 uses judge-rubric scores for factual recall, knowledge recency, hallucination resistance and calibration. The overall score is their fixed 37.5/25/25/12.5 weighted aggregation. Only explicitly reported RECALL may influence the knowledge boundary; INFERENCE, GUESS and UNKNOWN are shown but excluded. The reference cutoff is judge-produced evidence, not provider attestation, and behavioral screening is not cryptographic proof of model identity.
Exécutez une vérification indépendante
Testez vous-même le même point de terminaison ou parcourez d’autres rapports publics avant de vous fier à une identité de modèle annoncée.