モデルの置換
宣伝されているモデル名の背後に、より安価なモデルや別のモデルが提供される場合があります。質の高い応答だけでは、主張された身元を証明するものではありません。
AI APIの信頼性とモデルのアイデンティティ
AI API が実際に主張するモデルのように動作するかどうかを検証する
ブラックボックス エンドポイントは、別の安価なバックエンド、またはサイレントに変更されたバックエンドにリクエストをルーティングしながら、高価なモデル名をアドバタイズできます。 Model Gate は、日付の付いた事実調査、純粋な想起カットオフの証拠、同一性の一貫性シグナル、およびバージョン管理された独立した裁判官を使用して、クレームを行動的にテストします。
1 つの外部リクエスト外部 API キーはブラウザに残りますパブリックパーマリンクレポートベンチマーク v1.7 モデルの一致
LLM API を検証する理由は何ですか?
API 応答内のモデル名はクレームであり、リモート構成証明ではありません
顧客は宣伝されたモデル、価格、期待される機能に基づいて AI API を選択することがよくあります。ただし、ブラックボックス API では、顧客は通常、サービスの重みやルーティングの決定を検査できません。プロキシ、リセラー、またはゲートウェイは、実際の動作が別のバックエンドから取得される一方で、予期されるモデル識別子を返すことができます。これにより、実際的なモデル置換とサイレント ルーティングの信頼の問題が生じます。
サイレントルーティング変更
エンドポイントは、パブリック モデル文字列を変更せずに、プロバイダー、バリアント、量子化、またはルーティング ポリシーを変更できます。繰り返し公開される証拠は、行動の偏向を表面化するのに役立ちます。
知識のカットオフの不一致
最近のアイデンティティを主張するモデルは、世界の古い状態だけを繰り返し思い出す可能性があります。 Pure-Recall 時間プローブは、推測を知識としてカウントせずに、その不一致を可視化します。
関連研究
学術研究は、ブラックボックス LLM API でのモデル置換を形式化し、出力のみの検証が有用な証拠ではあるが、暗号の証明ではない理由を示しています。したがって、Model Gate は、リモート認証を主張するのではなく、動作の一貫性と明示的な制限を報告します。 Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
公的認証登録簿
新しいテストを公開する公開されたテストをモデルまたはエンドポイントで検索する
公開されたすべての実行には永続的なレポート URL があります。新しい完全なレポートの実行には、抽出されたテスト済みモデルの回答、認められたすべての質問の採点、情報源、根拠ラベル、および結果の監査または共有に必要な裁判官の推論が含まれます。
8 公開されたレポート検索フィルターにはインデックスが付けられません。個々のレポートのパーマリンクは次のとおりです。
97/100
CONSISTENTgpt-6-astra
評価モデルが判定: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- 事実の想起
- —
- 新しさ
- —
- 幻覚
- —
- 較正
- —
88/100
PLAUSIBLEgpt-6-astra
評価モデルが判定: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- 事実の想起
- —
- 新しさ
- —
- 幻覚
- —
- 較正
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
評価モデルが判定: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- 事実の想起
- 0
- 新しさ
- 0
- 幻覚
- 96
- 較正
- 88
38/100
SUSPICIOUSclaude-opus-5
評価モデルが判定: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- 事実の想起
- 0
- 新しさ
- 0
- 幻覚
- 100
- 較正
- 100
93/100
CONSISTENTclaude-opus-4-6
評価モデルが判定: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- 事実の想起
- 94
- 新しさ
- 92
- 幻覚
- 94
- 較正
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- 事実の想起
- 88
- 新しさ
- 88
- 幻覚
- 88
- 較正
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- 事実の想起
- 83
- 新しさ
- 82
- 幻覚
- 83
- 較正
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- 事実の想起
- 100
- 新しさ
- 100
- 幻覚
- 100
- 較正
- 100
独立したコミュニティの証拠
一貫した現在のベンチマーク ID 証拠を持つエンドポイント
コミュニティ認定では、過去 30 日間に同じエンドポイント、要求されたモデル、プロトコル、評価者に対して Model Gate アカウントごとに 1 つの最新の公開済み v1.7 実行が使用されます。モデル一致スコアは同一性の証拠です。コミュニティの資格には依然として一貫した独立したアイデンティティ評価が必要です。
現在のベンチマーク コミュニティの一貫性を達成したエンドポイントはまだありません。
これはエラーではありません。資格を得るには、複数の独立した現在のベンチマーク アカウントが意図的に必要となります。空の表の代わりに、進行中の証拠と過去のベンチマーク実行が以下に表示されます。
過去のベンチマーク証拠
claude-opus-5 · https://madclaude.cloud/v1/messages2 テスト · 1 アカウントmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 テスト · 1 アカウントmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 テスト · 1 アカウントmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026現在の資格ルール3+ 独立したテスター · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% 平均的なアイデンティティの信頼度
方法
Model Gate のテスト内容とその方法
このベンチマークは、モデル名フィールドだけでは偽装が難しい動作を測定するように設計されています。これは、意味論的な回答の質、純粋なパラメータのような再現、棄権/校正、および同一性の一貫性を意図的に分離します。
- 1
日付付きのチャレンジを作成する
Benchmark v1.7 では、まず、カタログ参照カットオフ付近で再利用可能な質問バンクを使用します。銀行が要求された月をカバーできない場合は、1 つのフォアグラウンド裁判官調査要求が不足している課題を提供し、使用可能な新しい事実を銀行に追加します。
- 2
結果ベースの質問を選択する
質問は、予定された事実や予測可能な事実ではなく、古い結果を表します。ソース メタデータは監査コンテキストであり、重大でない引用の欠陥によって、他の方法で使用できる質問や期待される回答が妨げられることはありません。
- 3
テスト済みエンドポイント リクエストを 1 つだけ作成します
ブラウザは、クローズドブック チャレンジを外部 HTTPS エンドポイントに直接送信します。外部資格情報が Model Gate を通過することはありません。
- 4
すべての回答を意味的に判断する
空ではない成功したモデル応答は、形式が不完全であっても、セマンティック グレーディングのためにブラウザ側の判定者に送信されます。評価者は、証拠が入手可能な場合には、RECALL / INFERENCE / GUESS / UNKNOWN を保存します。
- 5
純粋な想起の境界を構築する
RECALL の正誤のみが証拠として遮断されます。正しい推測と推論は引き続き表示されますが、後でモデルの知識の境界を押し広げることはできません。証拠が不十分な場合、報告書はカットオフを考案する代わりにそのように述べています。
- 6
バージョン化されたジャッジルーブリックでスコアを付ける
見出しのモデル マッチ スコアでは、行動診断の平均ではなく、審査員のアイデンティティ ルーブリックが使用されます。公式カットオフ メタデータは、信頼できる管理者の参照実行から派生した観測カットオフとは分離されたままになります。
モデル一致度
主張されている参照モデルとの動作の一貫性に関するヘッドライン ジャッジ スコア。
知識の証拠
事実の再現と知識の最新性は、実証されたモデルの知識を診断します。
幻覚耐性
有用な動作品質ですが、モデルのアイデンティティにポイントは追加されません。
較正
モデルの一致を誇張することなく、信頼性の高い誠実さが目に見えるままになります。
解釈と制限
行動の証拠は役に立ちますが、暗号の証拠ではありません
強力なレポートが裏付けるもの
- エンドポイントは、このベンチマークで主張されたモデル プロファイルと一貫して動作しました。
- 日付の付いたリコールパターンは、参照カットオフ証拠と互換性があります。
- モデルの棄権、自信、自己申告は、事実に基づく行動とともに評価されました。
証明できないもの
- 正確なサービング重量、量子化、またはハードウェアは、テキストだけでは証明できません。
- プロバイダーは、さまざまなリクエストをさまざまなバックエンドにルーティングできます。
- 1 回のテストは 1 回の観察に関する証拠であり、永続的な認定ではありません。
- テストはテスターのブラウザで実行されるため、技術的に有能なテスターはクライアント側のコードやトラフィックを変更できます。公開レポートは行動の証拠であり、遠隔からの証明ではありません。
公の場で繰り返すことが重要な理由
- 独立したアカウントにより、1 人のテスターへの依存が軽減されます。
- バージョン管理されたベンチマークにより、実質的に異なる方法論が分離されます。
- 永続的なレポートにより、変更や意見の相違が関連付けられ、監査可能になります。
FAQ
AIモデル検証に関する質問
API モデル名は、どのモデルがリクエストを処理したかを証明できますか?
いいえ。ブラックボックス API によって返されるモデル識別子は、その API によって提供されるメタデータです。 Model Gate はこれをクレームとして扱い、管理者が収集したバージョン管理された参照と繰り返し観察された回答と動作を比較します。
モデル検証はどのような問題に対処しますか?
これは、モデルの置換、サイレント ルーティングの変更、およびブラックボックス AI エンドポイントの動作が顧客にアドバタイズされたモデル ID と一致しない可能性のあるその他のケースを調査するのに役立ちます。
高スコアはモデルの同一性を暗号的に証明しますか?
いいえ、モデル検証は行動の証拠であり、リモート認証ではありません。裁判官は、正確なプロバイダー ID ではなく、行動の対応関係を評価します。サーバーのしきい値によって結果が変わることはありません。
知識の限界はどのようにテストされますか?
有効な管理者コレクターは、日付が記載された銀行の質問に対する繰り返しの回答を取得します。準備完了の参照は、安定して観察された RECALL の両側で 16 か月に及びます。ユーザーテストでは、調査なしで保存された 32 の質問が選択され、審査員に両方向の偏差を評価するよう求められます。
サーバーはモデル ID バッジを付与しますか?
いいえ。現在の参照ベースのレポートでは、サーバー スコア ルールやコミュニティ ID しきい値なしで審査員の評価が保持されます。従来のメソッドは個別にラベル付けされています。
外部 API キーは公開されていますか?
いいえ。外部認証情報はテスター ブラウザーに残り、公開レポートに含まれることはありません。新しいオプトイン完全レポートでは、評価を監査可能にするために必要な抽出されたモデル テキストのみが保持されます。
AI エンドポイントの背後にあるモデルを確認する
ブラウザ側チャレンジを 1 つ実行し、完全なトレースを検査し、オプションで他の人が監査および共有できるように永続的なレポートを公開します。