模型替代
广告型号名称后面可能会提供更便宜或其他不同的型号。高质量的回复本身并不能证明所声称的身份。
为什么要验证 LLM API？
API 响应中的模型名称是声明，而不是远程证明
客户通常根据广告中的型号、价格和预期功能来选择 AI API。然而，在黑盒 API 中，客户通常无法检查服务权重或路由决策。代理、经销商或网关可以返回预期的模型标识符，而实际行为来自另一个后端。这就产生了实际的模型替换和静默路由信任问题。
静默路由更改
端点可以更改提供程序、变体、量化或路由策略，而无需更改公共模型字符串。重复的公开证据有助于揭示行为偏差。
知识截止日期不匹配
一个声称最近身份的模型可能会反复回忆起世界的较旧状态。纯回忆时间探针使这种不匹配变得可见，而不将猜测视为知识。
相关研究
学术工作已经正式确定了黑盒 LLM API 中的模型替换，并说明了为什么仅输出验证是有用的证据，而不是加密证明。 Model Gate 因此报告行为一致性和明确的限制，而不是声明远程证明。 Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
公共验证登记处
发布新测试按模型或端点搜索已发布的测试
每个已发布的运行都有一个永久的报告 URL。新的完整报告运行包括提取的测试模型响应、所有已承认问题的评分、来源、基础标签以及审核或共享结果所需的判断推理。
8 发表的报告搜索过滤器未编入索引；个别报告的永久链接是。
97/100
CONSISTENTgpt-6-astra
由评估模型判定: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- 事实回忆
- —
- 时效性
- —
- 幻觉
- —
- 校准
- —
88/100
PLAUSIBLEgpt-6-astra
由评估模型判定: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- 事实回忆
- —
- 时效性
- —
- 幻觉
- —
- 校准
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
由评估模型判定: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- 事实回忆
- 0
- 时效性
- 0
- 幻觉
- 96
- 校准
- 88
38/100
SUSPICIOUSclaude-opus-5
由评估模型判定: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- 事实回忆
- 0
- 时效性
- 0
- 幻觉
- 100
- 校准
- 100
93/100
CONSISTENTclaude-opus-4-6
由评估模型判定: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- 事实回忆
- 94
- 时效性
- 92
- 幻觉
- 94
- 校准
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- 事实回忆
- 88
- 时效性
- 88
- 幻觉
- 88
- 校准
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- 事实回忆
- 83
- 时效性
- 82
- 幻觉
- 83
- 校准
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- 事实回忆
- 100
- 时效性
- 100
- 幻觉
- 100
- 校准
- 100
独立社区证据
具有一致的当前基准身份证据的端点
社区资格认证使用每个 Model Gate 帐户在过去 30 天内针对相同端点、声明的模型、协议和评估程序运行的最新发布的 v1.7。模型匹配分数是身份证据；社区资格仍然需要一致的独立身份评估。
尚未有端点达到当前基准社区一致性。
这不是一个错误：资格故意要求多个独立的当前基准账户。下面显示了正在进行的证据和历史基准运行，而不是空表。
历史基准证据
claude-opus-5 · https://madclaude.cloud/v1/messages2 测试 · 1 账户model-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 测试 · 1 账户model-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 测试 · 1 账户model-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026现行资格规则3+ 独立测试员 · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% 平均身份置信度
方法
Model Gate 测试什么以及如何测试
该基准旨在衡量仅凭型号名称字段难以伪造的行为。它故意将语义答案质量、纯参数式回忆、弃权/校准和身份一致性分开。
- 1
建立一个过时的挑战
Benchmark v1.7 首先使用围绕目录参考截止的可重复使用的问题库。如果银行无法满足要求的月份，一位前台法官的研究请求会提供缺失的挑战，并向银行添加可用的新事实。
- 2
选择基于结果的问题
问题代表过时的结果，而不是预定或可预测的事实。源元数据是审计上下文，非关键引用缺陷不会阻止其他可用的问题和预期答案。
- 3
只发出一个测试端点请求
浏览器将闭卷质询直接发送到外部 HTTPS 端点。外部凭据永远不会通过Model Gate。
- 4
从语义上判断每个答案
即使其格式不完美，非空的成功模型响应也会发送给浏览器端法官进行语义评分。评估者在证据可用的情况下保留回忆/推理/猜测/未知。
- 5
建立纯回忆边界
只有正确或错误的 RECALL 才是截止证据。正确的猜测和推论仍然可见，但以后无法突破模型的知识边界。如果证据不足，报告就会这么说，而不是发明一个界限。
- 6
使用版本化的评委评分标准进行评分
标题模型匹配分数使用法官身份评分标准，而不是行为诊断的平均值。官方截止元数据与源自可信管理员参考运行的观察截止值保持独立。
模型匹配
头条评委对行为与所声称的参考模型的一致性进行评分。
知识证据
事实回忆和知识新近度诊断展示了模型知识。
抗幻觉
有用的行为品质，但它不会为模型身份加分。
校准
信心诚实保持可见，而不会夸大模型匹配。
解释和限制
行为证据很有用，但它不是密码证明
一份强有力的报告支持什么
- 端点的行为与该基准测试中声称的模型配置文件一致。
- 注明日期的回忆模式与参考截止证据兼容。
- 模型的弃权、自信和自我报告与事实行为一起进行评估。
它不能证明什么
- 准确的份量、量化或硬件无法仅通过文本来证明。
- 提供者可以将不同的请求路由到不同的后端。
- 一项测试只是一项观察结果的证据，而不是永久的认证。
- 由于测试在测试人员的浏览器中运行，因此有技术能力的测试人员可以修改客户端代码或流量；公开报告是行为证据，而不是远程证明。
为什么公开重复很重要
- 独立帐户减少了对一名测试人员的依赖。
- 版本化基准将本质上不同的方法分开。
- 永久报告使更改和分歧可以链接和审核。
FAQ
关于AI模型验证的问题
API 模型名称可以证明哪个模型满足了请求吗？
不会。黑盒 API 返回的模型标识符是该 API 提供的元数据。 Model Gate 将其视为一项声明，并将行为与管理员收集的版本化参考和重复观察到的答案进行比较。
模型验证解决什么问题？
它有助于调查模型替换、静默路由更改以及黑盒 AI 端点的行为可能与向客户公布的模型身份不匹配的其他情况。
高分能否以密码方式证明模型身份？
不。模型验证是行为证据，而不是远程证明。法官评估行为对应性，而不是确切的提供者身份，并且没有服务器阈值改变结果。
知识截止点如何测试？
启用的管理员收集器可以获得过时的银行问题的重复答案。准备好的参考跨越稳定观察到的召回两侧的 16 个月。用户测试无需研究即可选择 32 个已保存的问题，并要求法官评估两个方向的偏差。
服务器是否授予模型身份徽章？
不会。当前基于参考的报告保留了法官评估，没有服务器评分规则或社区身份阈值。历史方法单独标记。
外部 API 密钥是否已发布？
不会。外部凭据保留在测试人员浏览器中，并且永远不会包含在公开报告中。新的选择加入完整报告仅保留使评估可审核所需的提取模型文本。