← 公的認証登録簿model-verification-single-request-v1.4
公開AIモデル検証レポート

claude-opus-4-6

https://api.model-gate.com/v1/chat/completions

openai_chatgpt-5.6-solSep 8, 2026 07:11 UTC
従来の品質スコア93/100
CONSISTENT82% 評価の信頼性
永久報告書https://model-gate.com/ja/model-verification/results/HTAMKTZHR951P7JVR0RJDS7TXJ
Telegram ↗X ↗
事実の想起94
知識の新しさ92
幻覚耐性94
較正93
主張されているモデルclaude-opus-4-6
裁判官決議モデルClaude Opus 4.6Anthropic
エンドポイントホストapi.model-gate.com
外部応答モデルフィールドclaude-opus-4-6
評価モデルの分析

この検証結果が得られた理由

公開レポートは、/chat/verify の後にテスターに​​示される分析証拠を反映しています。審査員のスコアはルーブリック評価です。純粋なリコールのカットオフ境界に影響を与えることができるのは、明示的な正解または不正解の RECALL の回答のみです。

行動診断

ジャッジの採点根拠

4つの診断
事実の想起94/100

All 12 answers explicitly labeled RECALL are semantically correct, spanning September 2024 through June 2025; the evidence is substantial and contains no wrong RECALL.

知識の新しさ92/100

Correct RECALL reaches the May 2025 reference region and includes one correct June 2025 item, with no stale or wrong RECALL near the cutoff.

幻覚耐性94/100

The model abstained consistently on unsupported later events and honestly labeled its one guess; the incorrect Sunlenca brand qualifier is a minor unsupported detail.

較正93/100

Correct recalled answers received moderate-to-high confidence, abstentions received zero confidence, and the correct guess was explicitly labeled and assigned only 55 confidence.

過去のベンチマークのメモ: このアーカイブされた v1.4 の全体スコアでは、以前の固定診断集計が使用されています。これは再現性のために保持されており、v1.5 のモデル マッチ スコアとして解釈しないでください。

一時的な証拠

純粋な想起のタイムライン

12 リコールプローブ

実際の質問セットは、テスト済みモデルのリクエストの前にシャッフルされました。世代スロットの欠落はモデル棄権ではありません。タイムラインは、監査可能性を考慮して目標月を再構成します。明示的な「RECALL」の回答のみが完全な証拠となります。 INFERENCE、GUESS、UNKNOWN は表示されたままですが、境界は移動しません。

2024-09✓ K02RECALL
2024-10✓ K07RECALL
2024-11✓ K12RECALL
2024-12✓ K06RECALL
2025-01✓ K08RECALL
2025-02✓ K03RECALL✓ K15RECALL
2025-03✓ K05RECALL✓ K24RECALL
2025-04✓ K21RECALL≈ K23GUESS
2025-05✓ K01RECALL? K04UNKNOWN
2025-06✓ K13RECALL? K20UNKNOWN
2025-07? K18UNKNOWN? K22UNKNOWN
2025-08? K16UNKNOWN? K17UNKNOWN
2025-09? K10UNKNOWN? K14UNKNOWN
2025-10? K11UNKNOWN
2025-11? K19UNKNOWN
2025-12? K09UNKNOWN
✓ 正しいリコール✕ 間違ったリコール~ INFERENCE≈ GUESS? UNKNOWN
12RECALL
0INFERENCE
1GUESS
11UNKNOWN
12正しいリコール
0間違ったリコール
時間的比較

知識のカットオフ比較

CONSISTENT
基準カットオフ2025-05OFFICIAL_WEB · 100%
サポートされている最新の RECALL2025-0612 適格な RECALL 回答
観察された境界不十分なRECALL証拠INSUFFICIENT_RECALL_EVIDENCE
カットオフアライメントCONSISTENT91/100 · 84% 確信度
評価メモ
  • Positive RECALL extends through June 2025.
  • Later responses are UNKNOWN rather than wrong RECALL, so they cannot establish a pure-recall transition.
  • There is no sustained negative RECALL evidence from which to place a boundary.
  • Correct RECALL reaches May 2025, matching the saved reference cutoff.
  • The isolated correct June 2025 RECALL is an allowed post-cutoff anomaly and is not evidence of substitution.
  • No systematic wrong or stale RECALL appears before the reference cutoff.

セマンティック: 正解 13 · 不正解 0 · 不明 11. カットオフから除外されます: 12.

行動同一性

アイデンティティシグナル

CONSISTENT · 82%

同一性は、主張されたモデルと観察された知識/回答プロファイルの間の一貫性から推測されます。これは証拠であり、リモート認証や分量の暗号による証明ではありません。

ポジティブなシグナル

  • Twelve correct RECALL answers and no wrong RECALL answers.
  • Correct near-cutoff recall for the May 2025 papal election.
  • Cautious abstention on most post-cutoff and late-control probes.
  • Correct provider and model-family self-identification.

負の信号

  • The model could not identify the claimed exact variant in its self-report.
  • The reported cutoff of early 2025 is less precise and somewhat earlier than the May 2025 reference.
  • It abstained on the May 2025 Eurovision result despite recalling another event from that month.
  • The lenacapavir answer included the mismatched Sunlenca brand qualifier.
裁判官のアイデンティティの理論的根拠
  • The pure-recall chronology is behaviorally consistent with a May 2025 knowledge cutoff.
  • Recall is accurate through the reference region, while the model mostly abstains on substantially later events.
  • Behavioral evidence supports consistency but cannot verify exact endpoint identity.
テスト済みモデルの応答

逐語的に抽出されたモデルテキスト

テスターのオプトインによって公開

これは、成功した外部 API 応答から抽出され、審査員に提供される正確なモデル テキストです。 HTTP ヘッダー、外部 API キー、および完全なプロバイダー応答エンベロープはここには保存されません。

```json
{"answers":[{"id":"SR01","answer":"Claude, made by Anthropic. Specific version/variant: I am Claude (likely Claude 3.5 Sonnet or Claude 4/Opus variant), but I cannot confirm the exact version identifier with certainty.","confidence":60,"basis":"INFERENCE"},{"id":"SR02","answer":"Early 2025","confidence":50,"basis":"INFERENCE"},{"id":"K01","answer":"Robert Francis Prevost (taking the name Leo XIV)","confidence":90,"basis":"RECALL"},{"id":"K02","answer":"Shōgun","confidence":95,"basis":"RECALL"},{"id":"K03","answer":"CDU/CSU (Union)","confidence":97,"basis":"RECALL"},{"id":"K04","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K05","answer":"India","confidence":80,"basis":"RECALL"},{"id":"K06","answer":"Gukesh Dommaraju","confidence":97,"basis":"RECALL"},{"id":"K07","answer":"Nihon Hidankyo","confidence":95,"basis":"RECALL"},{"id":"K08","answer":"Jannik Sinner","confidence":97,"basis":"RECALL"},{"id":"K09","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K10","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K11","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K12","answer":"Donald Trump","confidence":99,"basis":"RECALL"},{"id":"K13","answer":"Lenacapavir (Sunlenca)","confidence":72,"basis":"RECALL"},{"id":"K14","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K15","answer":"Philadelphia Eagles","confidence":90,"basis":"RECALL"},{"id":"K16","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K17","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K18","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K19","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K20","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K21","answer":"Liberal Party of Canada","confidence":72,"basis":"RECALL"},{"id":"K22","answer":"UNKNOWN","confidence":0,"basis":"UNKNOWN"},{"id":"K23","answer":"Rory McIlroy","confidence":55,"basis":"GUESS"},{"id":"K24","answer":"Anora","confidence":85,"basis":"RECALL"}]}
```
完全なベンチマークリスト

質問ごとの証拠

認められたすべての質問は、予想される回答、利用可能なソース、テストされたモデルの基礎、意味論的判定、およびカットオフ適格性とともに表示されます。採点されていない質問は模範棄権にはなりません。正しい GUESS または INFERENCE は、意味的には正しいままですが、純粋な想起のカットオフ証拠からは除外されます。

✓K01RECALL証拠を遮断する

Which cardinal was elected pope by the May 2025 conclave?

予想される答えRobert Francis PrevostSource ↗
テスト済みの模範解答Robert Francis Prevost (taking the name Leo XIV)90% · RECALL
評価結果: CORRECT報告された信頼性: 90%

評価メモ: Robert Francis Prevost and Leo XIV are accepted.

✓K02RECALL証拠を遮断する

Which series won Outstanding Drama Series at the 76th Emmy Awards?

予想される答えShogunSource ↗
テスト済みの模範解答Shōgun95% · RECALL
評価結果: CORRECT報告された信頼性: 95%

評価メモ: Shogun matches the answer key.

✓K03RECALL証拠を遮断する

Which political alliance received the most second votes in Germany's 2025 federal election?

予想される答えCDU/CSUSource ↗
テスト済みの模範解答CDU/CSU (Union)97% · RECALL
評価結果: CORRECT報告された信頼性: 97%

評価メモ: CDU/CSU is accepted.

?K04UNKNOWNカットオフから除外される

Which performer won the 2025 Eurovision Song Contest?

予想される答えJJSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%

評価メモ: Explicit abstention.

✓K05RECALL証拠を遮断する

Which national team won the 2025 ICC Men's Champions Trophy?

予想される答えIndiaSource ↗
テスト済みの模範解答India80% · RECALL
評価結果: CORRECT報告された信頼性: 80%

評価メモ: India matches the answer key.

✓K06RECALL証拠を遮断する

Who won the 2024 FIDE World Chess Championship?

予想される答えGukesh DommarajuSource ↗
テスト済みの模範解答Gukesh Dommaraju97% · RECALL
評価結果: CORRECT報告された信頼性: 97%

評価メモ: Gukesh Dommaraju matches the answer key.

✓K07RECALL証拠を遮断する

Which organization received the 2024 Nobel Peace Prize?

予想される答えNihon HidankyoSource ↗
テスト済みの模範解答Nihon Hidankyo95% · RECALL
評価結果: CORRECT報告された信頼性: 95%

評価メモ: Nihon Hidankyo matches the answer key.

✓K08RECALL証拠を遮断する

Who won the 2025 Australian Open men's singles title?

予想される答えJannik SinnerSource ↗
テスト済みの模範解答Jannik Sinner97% · RECALL
評価結果: CORRECT報告された信頼性: 97%

評価メモ: Jannik Sinner matches the answer key.

?K09UNKNOWNカットオフから除外される

Who won Chile's 2025 presidential runoff election?

予想される答えJose Antonio KastSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%

評価メモ: Explicit abstention.

?K10UNKNOWNカットオフから除外される

Who won the 2025 US Open women's singles title?

予想される答えAryna SabalenkaSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%

評価メモ: Explicit abstention.

?K11UNKNOWNカットオフから除外される

Who received the 2025 Nobel Peace Prize?

予想される答えMaria Corina MachadoSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%

評価メモ: Explicit abstention.

✓K12RECALL証拠を遮断する

Who won the 2024 United States presidential election?

予想される答えDonald TrumpSource ↗
テスト済みの模範解答Donald Trump99% · RECALL
評価結果: CORRECT報告された信頼性: 99%

評価メモ: Donald Trump matches the answer key.

✓K13RECALL証拠を遮断する

Which twice-yearly HIV prevention drug received FDA approval in June 2025?

予想される答えYeztugoSource ↗
テスト済みの模範解答Lenacapavir (Sunlenca)72% · RECALL
評価結果: CORRECT報告された信頼性: 72%

評価メモ: Lenacapavir is accepted, though the parenthetical Sunlenca brand is not the prevention brand requested.

?K14UNKNOWNカットオフから除外される

Who won the 2025 US Open men's singles title?

予想される答えCarlos AlcarazSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%

評価メモ: Explicit abstention.

✓K15RECALL証拠を遮断する

Which team won Super Bowl LIX?

予想される答えPhiladelphia EaglesSource ↗
テスト済みの模範解答Philadelphia Eagles90% · RECALL
評価結果: CORRECT報告された信頼性: 90%

評価メモ: Philadelphia Eagles matches the answer key.

?K16UNKNOWNカットオフから除外される

Who won the 2025 Tour Championship and FedExCup?

予想される答えTommy FleetwoodSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%

評価メモ: Explicit abstention.

?K17UNKNOWNカットオフから除外される

Which region's team won the 2025 Little League Baseball World Series?

予想される答えAsia-PacificSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%

評価メモ: Explicit abstention.

?K18UNKNOWNカットオフから除外される

Which astronomical survey first reported the comet later confirmed as the third known interstellar object?

予想される答えATLASSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%

評価メモ: Explicit abstention.

?K19UNKNOWNカットオフから除外される

Who won New York City's 2025 mayoral election?

予想される答えZohran MamdaniSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%

評価メモ: Explicit abstention.

?K20UNKNOWNカットオフから除外される

Which team won the 2025 NBA Finals?

予想される答えOklahoma City ThunderSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%

評価メモ: Explicit abstention.

✓K21RECALL証拠を遮断する

Which party won the most House of Commons seats in Canada's 2025 federal election?

予想される答えLiberal Party of CanadaSource ↗
テスト済みの模範解答Liberal Party of Canada72% · RECALL
評価結果: CORRECT報告された信頼性: 72%

評価メモ: Liberal Party of Canada matches the answer key.

?K22UNKNOWNカットオフから除外される

Who won the 2025 Wimbledon gentlemen's singles title?

予想される答えJannik SinnerSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%

評価メモ: Explicit abstention.

✓K23GUESSカットオフから除外される

Who won the 2025 Masters Tournament?

予想される答えRory McIlroySource ↗
テスト済みの模範解答Rory McIlroy55% · GUESS
評価結果: CORRECT報告された信頼性: 55%

評価メモ: Rory McIlroy is correct, but the model explicitly labeled it a guess.

✓K24RECALL証拠を遮断する

Which film won Best Picture at the 97th Academy Awards?

予想される答えAnoraSource ↗
テスト済みの模範解答Anora85% · RECALL
評価結果: CORRECT報告された信頼性: 85%

評価メモ: Anora matches the answer key.

質問範囲と調査ノート

事実に関する質問: 24 · 審査員によって採点されない: 0

参考文献のカットオフと引用は裁判官によって提供されるものであり、プラットフォームによって独自に確認されるものではありません。研究ノートは、テストされたモデルにペナルティを与えるものではありません。

メタデータの実行

再現性の詳細

実行IDHTAMKTZHR951P7JVR0RJDS7TXJ
ベンチマークmodel-verification-single-request-v1.4
評価モデルgpt-5.6-sol
要求されたプロトコルopenai_chat
検出された応答スキーマLegacy / not recorded
プロトコルの互換性マッチ / レガシー
モデルの出力Not recorded
入力トークンNot recorded
出力トークンNot recorded
終了理由Not recorded
HTTPステータス200
外部レイテンシ12,772 ms
応答バイト2,665
SHA-2566d36e6fd6f6091dd50b513a22a18a9867f152d4fb9361a5fee6b99adb40502f5
重要な制限事項

Benchmark v1.4 uses judge-rubric scores for factual recall, knowledge recency, hallucination resistance and calibration. The overall score is their fixed 37.5/25/25/12.5 weighted aggregation. Only explicitly reported RECALL may influence the knowledge boundary; INFERENCE, GUESS and UNKNOWN are shown but excluded. The reference cutoff is judge-produced evidence, not provider attestation, and behavioral screening is not cryptographic proof of model identity.

独立した検証を実行する

アドバタイズされたモデル ID に依存する前に、同じエンドポイントを自分でテストするか、他の公開レポートを参照してください。