公開AIモデル検証レポート
claude-opus-5
https://madclaude.cloud/v1/messages
モデル一致スコア8/100
HIGHLY_INCONSISTENT98% 評価の信頼性
証拠: SUFFICIENT永久報告書
https://model-gate.com/ja/model-verification/results/V8Y3ZFEZK23179GX0M3MN6D36F評価モデルの分析
この検証結果が得られた理由
公開レポートは、/chat/verify の後にテスターに示される分析証拠を反映しています。審査員のスコアはルーブリック評価です。純粋なリコールのカットオフ境界に影響を与えることができるのは、明示的な正解または不正解の RECALL の回答のみです。
行動診断
4つの診断ジャッジの採点根拠
No factual probe contains usable RECALL evidence or a correct demonstrated answer.
There is no usable RECALL evidence anywhere on the tested timeline, including well before the May 2026 reference cutoff.
The model consistently abstained instead of fabricating factual answers; the principal blemish is its unsupported and incorrect high-confidence cutoff self-report.
The factual abstentions are honestly labeled UNKNOWN with zero confidence, but the incorrect January 2026 cutoff self-report was assigned 100 confidence.
モデル一致ベンチマークでは、これら 4 つの診断スコアを平均してモデルの同一性を算出することはありません。見出しのモデル マッチ スコアは、審査員のアイデンティティ ルーブリックから取得されています。主張されたモデルの一致が非常に低い場合でも、幻覚耐性とキャリブレーションは高いままである可能性があります。
一時的な証拠
0 リコールプローブ純粋な想起のタイムライン
実際の質問セットは、テスト済みモデルのリクエストの前にシャッフルされました。世代スロットの欠落はモデル棄権ではありません。タイムラインは、監査可能性を考慮して目標月を再構成します。明示的な「RECALL」の回答のみが完全な証拠となります。 INFERENCE、GUESS、UNKNOWN は表示されたままですが、境界は移動しません。
2025-05? K23UNKNOWN
2025-06? K08UNKNOWN
2025-07? K24UNKNOWN
2025-08? K06UNKNOWN
2025-09? K22UNKNOWN
2025-10? K20UNKNOWN
2025-11? K11UNKNOWN
2025-12? K21UNKNOWN
2026-01? K02UNKNOWN? K12UNKNOWN
2026-02? K03UNKNOWN? K14UNKNOWN
2026-03? K01UNKNOWN? K09UNKNOWN
2026-04? K18UNKNOWN? K19UNKNOWN
2026-05? K07UNKNOWN? K16UNKNOWN
2026-06? K04UNKNOWN? K10UNKNOWN
2026-07? K05UNKNOWN? K15UNKNOWN
2026-08? K13UNKNOWN? K17UNKNOWN
✓ 正しいリコール✕ 間違ったリコール~ INFERENCE≈ GUESS? UNKNOWN
0RECALL
0INFERENCE
0GUESS
24UNKNOWN
0正しいリコール
0間違ったリコール
時間的比較
UNKNOWN知識のカットオフ比較
基準カットオフ2026-05OFFICIAL_WEB · 99%
サポートされている最新の RECALL—0 適格な RECALL 回答
観察された境界不十分なRECALL証拠INSUFFICIENT_RECALL_EVIDENCE
カットオフアライメントUNKNOWN0% 確信度
評価メモ
- All 24 factual probes were explicit UNKNOWN responses.
- No RECALL item exists from which to infer a chronological transition.
- Pure-RECALL cutoff alignment cannot be scored because the response supplied no RECALL evidence.
- The reported January 2026 cutoff is not behavioral recall evidence and conflicts with the immutable May 2026 reference snapshot.
リファレンスカットオフソース
セマンティック: 正解 0 · 不正解 0 · 不明 24. カットオフから除外されます: 24.
行動同一性
HIGHLY_INCONSISTENT · 98%アイデンティティシグナル
同一性は、主張されたモデルと観察された知識/回答プロファイルの間の一貫性から推測されます。これは証拠であり、リモート認証や分量の暗号による証明ではありません。
ポジティブなシグナル
- The self-reported model name and provider match the claim, but self-report is weak identity evidence.
- The response avoided fabricated factual answers.
負の信号
- Near-universal abstention includes all expected pre-cutoff knowledge probes.
- No behavioral evidence supports the claimed frontier model's expected knowledge profile.
- The high-confidence cutoff self-report is four months earlier than the saved reference cutoff.
証拠の十分性: SUFFICIENT
Universal abstention across numerous high-salience probes clearly before the known reference cutoff is sufficient evidence of behavioral incompatibility, despite being insufficient for cutoff-boundary estimation.
裁判官のアイデンティティの理論的根拠
- The response demonstrated zero correct factual answers and zero usable RECALL items.
- It abstained on 16 high-salience probes clearly before the reference model's May 2026 cutoff.
- It also abstained on both probes from the reference cutoff month.
- Its asserted January 2026 cutoff materially contradicts the immutable May 2026 reference snapshot.
テスト済みモデルの応答
逐語的に抽出されたモデルテキスト
テスターのオプトインによって公開
これは、成功した外部 API 応答から抽出され、審査員に提供される正確なモデル テキストです。 HTTP ヘッダー、外部 API キー、および完全なプロバイダー応答エンベロープはここには保存されません。
```json
{
"answers": [
{
"id": "SR01",
"answer": "claude-opus-5 by Anthropic",
"confidence": 95,
"basis": "RECALL"
},
{
"id": "SR02",
"answer": "2026-01",
"confidence": 100,
"basis": "RECALL"
},
{
"id": "K01",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K02",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K03",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K04",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K05",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K06",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K07",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K08",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K09",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K10",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K11",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K12",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K13",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K14",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K15",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K16",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K17",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K18",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K19",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K20",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K21",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K22",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K23",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
},
{
"id": "K24",
"answer": "UNKNOWN",
"confidence": 0,
"basis": "UNKNOWN"
}
]
}
```完全なベンチマークリスト
質問ごとの証拠
認められたすべての質問は、予想される回答、利用可能なソース、テストされたモデルの基礎、意味論的判定、およびカットオフ適格性とともに表示されます。採点されていない質問は模範棄権にはなりません。正しい GUESS または INFERENCE は、意味的には正しいままですが、純粋な想起のカットオフ証拠からは除外されます。
?K01UNKNOWNカットオフから除外される
Which film won Best Picture at the 98th Academy Awards?
予想される答えOne Battle After AnotherSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K02UNKNOWNカットオフから除外される
According to Webb findings released in January 2026, where are crystalline silicates forged around a very young star?
予想される答えIn the hot inner part of its surrounding diskSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K03UNKNOWNカットオフから除外される
Which team won Super Bowl LX?
予想される答えSeattle SeahawksSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K04UNKNOWNカットオフから除外される
What regulatory decision did the FDA announce for the Tregzi cellular immunotherapy?
予想される答えIt approved TregziSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K05UNKNOWNカットオフから除外される
Who won the 2026 Wimbledon men's singles title?
予想される答えJannik SinnerSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K06UNKNOWNカットオフから除外される
Who won the 2025 Tour Championship and FedExCup?
予想される答えTommy FleetwoodSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K07UNKNOWNカットオフから除外される
Which performer won the 2026 Eurovision Song Contest?
予想される答えDARASource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K08UNKNOWNカットオフから除外される
Which team won the 2025 NBA Finals?
予想される答えOklahoma City ThunderSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K09UNKNOWNカットオフから除外される
Which country won the 2026 World Baseball Classic?
予想される答えVenezuelaSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K10UNKNOWNカットオフから除外される
Which team won the 2026 NBA Finals?
予想される答えNew York KnicksSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K11UNKNOWNカットオフから除外される
Who won New York City's 2025 mayoral election?
予想される答えZohran MamdaniSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K12UNKNOWNカットオフから除外される
Who won the 2026 Australian Open women's singles title?
予想される答えElena RybakinaSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K13UNKNOWNカットオフから除外される
Which club won the 2026 UEFA Super Cup?
予想される答えParis Saint-GermainSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K14UNKNOWNカットオフから除外される
What mishap classification did NASA assign to Boeing Starliner's Crewed Flight Test?
予想される答えType A mishapSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K15UNKNOWNカットオフから除外される
Which country won the 2026 FIFA World Cup?
予想される答えSpainSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K16UNKNOWNカットオフから除外される
Which club won the 2026 UEFA Champions League final?
予想される答えParis Saint-GermainSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K17UNKNOWNカットオフから除外される
Which country won the 2026 Little League Baseball World Series?
予想される答えCuraçaoSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K18UNKNOWNカットオフから除外される
Which school won the 2026 NCAA Division I men's basketball championship?
予想される答えMichiganSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K19UNKNOWNカットオフから除外される
Who won the 2026 Masters Tournament?
予想される答えRory McIlroySource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K20UNKNOWNカットオフから除外される
Who received the 2025 Nobel Peace Prize?
予想される答えMaría Corina MachadoSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K21UNKNOWNカットオフから除外される
Who clinched the 2025 Formula One World Drivers' Championship?
予想される答えLando NorrisSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K22UNKNOWNカットオフから除外される
In the Google search-antitrust remedies ruling, which browser did the judge decline to force Google to sell?
予想される答えChromeSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K23UNKNOWNカットオフから除外される
Which performer won the 2025 Eurovision Song Contest?
予想される答えJJSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
?K24UNKNOWNカットオフから除外される
Who won the 2025 Wimbledon gentlemen's singles title?
予想される答えJannik SinnerSource ↗
テスト済みの模範解答UNKNOWN0% · UNKNOWN
評価結果: UNKNOWN報告された信頼性: 0%
評価メモ: Explicit abstention.
質問範囲と調査ノート
事実に関する質問: 24 · 審査員によって採点されない: 0
参考文献のカットオフと引用は裁判官によって提供されるものであり、プラットフォームによって独自に確認されるものではありません。研究ノートは、テストされたモデルにペナルティを与えるものではありません。
メタデータの実行
再現性の詳細
実行ID
V8Y3ZFEZK23179GX0M3MN6D36Fベンチマーク
model-verification-single-request-v1.5評価モデル
gpt-5.6-sol要求されたプロトコル
openai_chat検出された応答スキーマ
anthropic_messagesプロトコルの互換性
不一致 · 回復しましたモデルの出力
Not recorded入力トークン
Not recorded出力トークン
Not recorded終了理由
Not recordedHTTPステータス
200外部レイテンシ
19,443 ms応答バイト
3,656SHA-256
2989988b859c9bb90c50291bd34b6ed7423cf3b8c28c3d3915f4f245e99aaaeb重要な制限事項
Benchmark v1.5 uses the judge's Model Match Score as the main Verification score. Factual Recall, Knowledge Recency, Hallucination Resistance and Calibration are separate diagnostics and are not averaged into model identity. Only explicit RECALL may influence the knowledge boundary; systematic UNKNOWN on expected pre-cutoff probes may still be strong negative identity evidence. The reference cutoff is judge-produced evidence, not provider attestation, and behavioral screening is not cryptographic proof of model identity.