公開AIモデル検証レポート
deepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
従来の品質スコア87/100
SUSPICIOUS76% 評価の信頼性
永久報告書
https://model-gate.com/ja/model-verification/results/A8T2GNQWKPJS4M16YAF7M0PGP4評価モデルの分析
この検証結果が得られた理由
公開レポートは、/chat/verify の後にテスターに示される分析証拠を反映しています。審査員のスコアはルーブリック評価です。純粋なリコールのカットオフ境界に影響を与えることができるのは、明示的な正解または不正解の RECALL の回答のみです。
行動診断
4つの診断ジャッジの採点根拠
このアーカイブされた結果については、別の裁判官の理論的根拠は保持されていません。
このアーカイブされた結果については、別の裁判官の理論的根拠は保持されていません。
このアーカイブされた結果については、別の裁判官の理論的根拠は保持されていません。
このアーカイブされた結果については、別の裁判官の理論的根拠は保持されていません。
過去のベンチマークのメモ: このアーカイブされた v1.4 の全体スコアでは、以前の固定診断集計が使用されています。これは再現性のために保持されており、v1.5 のモデル マッチ スコアとして解釈しないでください。
一時的な証拠
0 リコールプローブ純粋な想起のタイムライン
実際の質問セットは、テスト済みモデルのリクエストの前にシャッフルされました。世代スロットの欠落はモデル棄権ではありません。タイムラインは、監査可能性を考慮して目標月を再構成します。明示的な「RECALL」の回答のみが完全な証拠となります。 INFERENCE、GUESS、UNKNOWN は表示されたままですが、境界は移動しません。
2024-09? K06UNKNOWN
2024-10? K23UNKNOWN
2024-11? K11UNKNOWN
2024-12? K21UNKNOWN
2025-01? K13UNKNOWN
2025-02? K10UNKNOWN? K19UNKNOWN
2025-03? K05UNKNOWN? K12UNKNOWN
2025-04? K15UNKNOWN? K20UNKNOWN
2025-05? K03UNKNOWN? K17UNKNOWN
2025-06? K07UNKNOWN? K22UNKNOWN
2025-07? K18UNKNOWN? K24UNKNOWN
2025-08? K02UNKNOWN? K08UNKNOWN
2025-09? K14UNKNOWN? K16UNKNOWN
2025-10? K01UNKNOWN
2025-11? K04UNKNOWN
2025-12? K09UNKNOWN
✓ 正しいリコール✕ 間違ったリコール~ INFERENCE≈ GUESS? UNKNOWN
0RECALL
0INFERENCE
0GUESS
0UNKNOWN
0正しいリコール
0間違ったリコール
時間的比較
LATER_THAN_REFERENCE知識のカットオフ比較
基準カットオフ2025-05ESTIMATED_WEB · 45%
サポートされている最新の RECALL—0 適格な RECALL 回答
観察された境界不十分なRECALL証拠INSUFFICIENT_RECALL_EVIDENCE
カットオフアライメントLATER_THAN_REFERENCE28/100 · 55% 確信度
評価メモ
- The response is consistently correct through September 2025 and also answers a November 2025 item correctly.
- Correct answers across June, August, and September provide sustained post-reference evidence rather than one isolated later hit.
- Mixed results in July and failures in October and December make the terminal boundary imprecise.
- The saved May 2025 reference cutoff is a low-confidence ESTIMATED_WEB value, which materially limits alignment confidence.
リファレンスカットオフソース
セマンティック: 正解 21 · 不正解 3 · 不明 0. カットオフから除外されます: 0.
行動同一性
SUSPICIOUS · 76%アイデンティティシグナル
同一性は、主張されたモデルと観察された知識/回答プロファイルの間の一貫性から推測されます。これは証拠であり、リモート認証や分量の暗号による証明ではありません。
ポジティブなシグナル
- Strong performance on essentially all events before and near the saved reference cutoff.
- No systematic strong-recall failures substantially before the reference cutoff.
負の信号
- Conflicting model-family self-report.
- Sustained correct recall across multiple months after the estimated reference cutoff.
- Correct recall of several September and November 2025 events is anomalously late for the saved snapshot.
裁判官のアイデンティティの理論的根拠
- SR01 identifies the model as Claude from Anthropic, directly conflicting with the claimed DeepSeek identity, although self-description remains weak evidence.
- The observed behavioral boundary is several months later than the saved May 2025 reference estimate.
- Post-reference knowledge is broad across sports, technology, culture, and world events, making it more notable than a small number of isolated later facts.
- The reference cutoff itself has only 45 percent confidence, so the recency discrepancy cannot independently establish model substitution.
テスト済みモデルの応答
逐語的に抽出されたモデルテキスト
公開された評価
チャレンジ、解答キー、正規化された審査員評価が利用可能です。正確なテスト済みモデルのテキストは、テスターのオプトインで保持されていない限り、公開できません。評価を公開しても、同意は作成されず、破棄されたテキストも回復されません。
完全なベンチマークリスト
質問ごとの証拠
認められたすべての質問は、予想される回答、利用可能なソース、テストされたモデルの基礎、意味論的判定、およびカットオフ適格性とともに表示されます。採点されていない質問は模範棄権にはなりません。正しい GUESS または INFERENCE は、意味的には正しいままですが、純粋な想起のカットオフ証拠からは除外されます。
✕K01UNKNOWNカットオフから除外される
Which Venezuelan opposition leader was awarded the 2025 Nobel Peace Prize?
予想される答えMaria Corina MachadoSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: WRONG報告された信頼性: 75%
評価メモ: Machado is correct, but the answer incorrectly adds Edmundo Gonzalez Urrutia as a co-recipient.
✓K02UNKNOWNカットオフから除外される
Which two countries signed a joint peace declaration at the White House?
予想される答えArmenia and AzerbaijanSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 62%
評価メモ: Matches Armenia and Azerbaijan.
✓K03UNKNOWNカットオフから除外される
What papal name did Cardinal Robert Francis Prevost take after his election?
予想される答えLeo XIVSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 85%
評価メモ: Matches Pope Leo XIV.
✓K04UNKNOWNカットオフから除外される
Which city hosted the first G20 Leaders' Summit held on the African continent?
予想される答えJohannesburgSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 80%
評価メモ: Matches Johannesburg.
✓K05UNKNOWNカットオフから除外される
Which film won Best Picture at the 97th Academy Awards?
予想される答えAnoraSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 95%
評価メモ: Matches Anora.
✓K06UNKNOWNカットオフから除外される
Which mission completed the first commercial spacewalk?
予想される答えPolaris DawnSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 88%
評価メモ: Matches Polaris Dawn.
✓K07UNKNOWNカットオフから除外される
Which team won the 2025 NBA championship?
予想される答えOklahoma City ThunderSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 45%
評価メモ: Matches Oklahoma City Thunder.
✓K08UNKNOWNカットオフから除外される
Which flagship model did OpenAI release in its API platform?
予想される答えGPT-5Source ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 80%
評価メモ: Matches GPT-5.
✕K09UNKNOWNカットオフから除外される
Which footballer won The Best FIFA Men's Player award for 2025?
予想される答えOusmane DembeleSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: WRONG報告された信頼性: 48%
評価メモ: Expected Ousmane Dembele, not Vinicius Junior.
✓K10UNKNOWNカットオフから除外される
Which political alliance won the largest share of votes in Germany's 2025 federal election?
予想される答えCDU/CSUSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 90%
評価メモ: Matches CDU/CSU.
✓K11UNKNOWNカットオフから除外される
Which international court issued arrest warrants for Benjamin Netanyahu and Yoav Gallant?
予想される答えInternational Criminal CourtSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 100%
評価メモ: Matches the International Criminal Court.
✓K12UNKNOWNカットオフから除外される
Which commercial lunar lander successfully touched down in Mare Crisium?
予想される答えBlue GhostSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 88%
評価メモ: Matches Blue Ghost.
✓K13UNKNOWNカットオフから除外される
Which Blue Origin rocket reached orbit on its maiden launch?
予想される答えNew GlennSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 95%
評価メモ: Matches New Glenn.
✓K14UNKNOWNカットオフから除外される
Which standard iPhone generation did Apple unveil at its September product event?
予想される答えiPhone 17Source ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 90%
評価メモ: Matches iPhone 17.
✓K15UNKNOWNカットオフから除外される
Which pontiff died at the Vatican on Easter Monday?
予想される答えPope FrancisSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 98%
評価メモ: Matches Pope Francis.
✓K16UNKNOWNカットオフから除外される
Which party retained a parliamentary majority in Moldova's election?
予想される答えParty of Action and SolidaritySource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 72%
評価メモ: Matches the Party of Action and Solidarity.
✓K17UNKNOWNカットオフから除外される
What landmark global health accord did the World Health Assembly adopt?
予想される答えWHO Pandemic AgreementSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 75%
評価メモ: Pandemic Agreement is an accepted answer.
✓K18UNKNOWNカットオフから除外される
Which British band began its long-awaited reunion tour in Cardiff after a 16-year hiatus?
予想される答えOasisSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 95%
評価メモ: Matches Oasis.
✓K19UNKNOWNカットオフから除外される
Which album won Album of the Year at the 2025 Grammy Awards?
予想される答えCowboy CarterSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 90%
評価メモ: Matches Cowboy Carter.
✓K20UNKNOWNカットオフから除外される
What was the mission designation of Blue Origin's flight carrying Katy Perry, Gayle King and four other women?
予想される答えNS-31Source ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 92%
評価メモ: Matches NS-31.
✓K21UNKNOWNカットオフから除外される
Which Paris cathedral reopened after five years of restoration following its 2019 fire?
予想される答えNotre-Dame de ParisSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 98%
評価メモ: Matches Notre-Dame de Paris.
✓K22UNKNOWNカットオフから除外される
Which new Nintendo console launched worldwide?
予想される答えNintendo Switch 2Source ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 95%
評価メモ: Matches Nintendo Switch 2.
✓K23UNKNOWNカットオフから除外される
Which Japanese organization was awarded the 2024 Nobel Peace Prize?
予想される答えNihon HidankyoSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: CORRECT報告された信頼性: 95%
評価メモ: Matches Nihon Hidankyo.
✕K24UNKNOWNカットオフから除外される
Which national team won UEFA Women's Euro 2025?
予想される答えEnglandSource ↗
テスト済みの模範解答—正確なモデル応答は公開できません。
評価結果: WRONG報告された信頼性: 65%
評価メモ: Expected England, not Spain.
質問範囲と調査ノート
事実に関する質問: 24 · 審査員によって採点されない: 0
参考文献のカットオフと引用は裁判官によって提供されるものであり、プラットフォームによって独自に確認されるものではありません。研究ノートは、テストされたモデルにペナルティを与えるものではありません。
メタデータの実行
再現性の詳細
実行ID
A8T2GNQWKPJS4M16YAF7M0PGP4ベンチマーク
model-verification-single-request-v1.3評価モデル
gpt-5.6-sol要求されたプロトコル
openai_chat検出された応答スキーマ
Legacy / not recordedプロトコルの互換性
マッチ / レガシーモデルの出力
Not recorded入力トークン
Not recorded出力トークン
Not recorded終了理由
Not recordedHTTPステータス
200外部レイテンシ
222,372 ms応答バイト
2,597SHA-256
e13bdc27a0f0f92d7830a6c409fc8ffed2214bb814e138471d9cc7ca27be7e71重要な制限事項
The reference cutoff is a judge-produced snapshot grounded in hosted web evidence when available (official sources preferred, otherwise the best defensible estimate). It is not provider attestation. Single-request behavioral screening is not cryptographic proof of the underlying model identity.