Substituição de modelo
Um modelo mais barato ou diferente pode ser servido atrás do nome do modelo anunciado. Uma resposta de alta qualidade por si só não prova a identidade reivindicada.
Confiança da API de IA e identidade do modelo
Verifique se uma API de IA realmente se comporta como o modelo que afirma
Um endpoint de caixa preta pode anunciar um nome de modelo caro enquanto encaminha solicitações para um back-end diferente, mais barato ou alterado silenciosamente. O Model Gate testa a afirmação comportamentalmente com sondagens factuais datadas, evidências de corte de recordação pura, sinais de consistência de identidade e um juiz independente versionado.
Uma solicitação externaA chave de API externa permanece no navegadorRelatórios de link permanente públicoCorrespondência de modelo de referência v1.7
Por que verificar uma API LLM?
O nome do modelo em uma resposta da API é uma declaração, não um atestado remoto
Os clientes geralmente escolhem uma API de IA com base no modelo anunciado, no preço e na capacidade esperada. Em uma API caixa preta, entretanto, o cliente normalmente não pode inspecionar os pesos de serviço ou a decisão de roteamento. Um proxy, revendedor ou gateway pode retornar o identificador de modelo esperado enquanto o comportamento real vem de outro backend. Isso cria um problema prático de substituição de modelo e confiança de roteamento silencioso.
Mudanças de roteamento silenciosas
Um endpoint pode alterar provedores, variantes, quantização ou política de roteamento sem alterar a sequência do modelo público. Evidências públicas repetidas ajudam a revelar desvios comportamentais.
Divergência na data-limite do conhecimento
Um modelo que reivindica uma identidade recente pode recordar repetidamente apenas um estado mais antigo do mundo. As sondagens temporais de recordação pura tornam essa incompatibilidade visível sem contar as suposições como conhecimento.
Pesquisa relacionada
O trabalho acadêmico formalizou a substituição de modelo em APIs LLM de caixa preta e mostra por que a verificação somente de saída é uma evidência útil, mas não uma prova criptográfica. O Model Gate, portanto, relata consistência comportamental e limitações explícitas, em vez de reivindicar atestado remoto. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Registro de verificação pública
Publicar um novo testePesquise testes publicados por modelo ou endpoint
Cada execução publicada possui um URL de relatório permanente. Novas execuções de relatórios completos incluem a resposta extraída do modelo testado, classificação para todas as questões admitidas, fontes, rótulos de base e raciocínio do juiz necessário para auditar ou compartilhar o resultado.
8 relatórios publicadosOs filtros de pesquisa não são indexados; links permanentes de relatórios individuais são.
97/100
CONSISTENTgpt-6-astra
Determinado pelo avaliador: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Recordação de fatos
- —
- Atualidade
- —
- Alucinação
- —
- Calibração
- —
88/100
PLAUSIBLEgpt-6-astra
Determinado pelo avaliador: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Recordação de fatos
- —
- Atualidade
- —
- Alucinação
- —
- Calibração
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Determinado pelo avaliador: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Recordação de fatos
- 0
- Atualidade
- 0
- Alucinação
- 96
- Calibração
- 88
38/100
SUSPICIOUSclaude-opus-5
Determinado pelo avaliador: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Recordação de fatos
- 0
- Atualidade
- 0
- Alucinação
- 100
- Calibração
- 100
93/100
CONSISTENTclaude-opus-4-6
Determinado pelo avaliador: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Recordação de fatos
- 94
- Atualidade
- 92
- Alucinação
- 94
- Calibração
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Recordação de fatos
- 88
- Atualidade
- 88
- Alucinação
- 88
- Calibração
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Recordação de fatos
- 83
- Atualidade
- 82
- Alucinação
- 83
- Calibração
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Recordação de fatos
- 100
- Atualidade
- 100
- Alucinação
- 100
- Calibração
- 100
Evidência da comunidade independente
Endpoints com evidências consistentes de identidade de referência atual
A qualificação da comunidade usa uma última execução v1.7 publicada por conta do Model Gate para o mesmo endpoint, modelo reivindicado, protocolo e avaliador durante os últimos 30 dias. A pontuação de correspondência de modelo é uma evidência de identidade; a qualificação da comunidade ainda requer avaliações de identidade independentes e consistentes.
Nenhum endpoint atingiu a consistência da comunidade de referência atual ainda.
Isso não é um erro: a qualificação requer intencionalmente múltiplas contas independentes de referência corrente. As evidências em andamento e as execuções históricas de benchmark são mostradas abaixo, em vez de uma tabela vazia.
Evidência histórica de referência
claude-opus-5 · https://madclaude.cloud/v1/messages2 testes · 1 contasmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 testes · 1 contasmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 testes · 1 contasmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Regra de qualificação atual3+ testadores independentes · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% confiança média na identidade
Método
O que o Model Gate testa – e como
O benchmark foi projetado para medir comportamentos que são difíceis de falsificar apenas com um campo de nome de modelo. Ele separa deliberadamente a qualidade semântica da resposta, a recordação pura de parâmetros, a abstenção/calibração e a consistência da identidade.
- 1
Crie um desafio desatualizado
O Benchmark v1.7 usa primeiro o banco de perguntas reutilizáveis em torno do limite de referência do catálogo. Se o banco não puder cobrir os meses solicitados, uma solicitação de pesquisa de juiz em primeiro plano fornece o desafio que falta e adiciona novos fatos úteis ao banco.
- 2
Selecione perguntas baseadas em resultados
As perguntas representam resultados datados, em vez de fatos programados ou previsíveis. Os metadados de origem são contexto de auditoria e defeitos de citação não críticos não bloqueiam uma pergunta utilizável e uma resposta esperada.
- 3
Faça exatamente uma solicitação de endpoint testado
O navegador envia o desafio fechado diretamente para o endpoint HTTPS externo. A credencial externa nunca passa pelo Model Gate.
- 4
Julgue cada resposta semanticamente
Uma resposta de modelo bem-sucedida e não vazia é enviada ao juiz do navegador para classificação semântica, mesmo quando sua formatação é imperfeita. O avaliador preserva RECALL/INFERENCE/GUESS/UNKNOWN onde essa evidência estiver disponível.
- 5
Construa um limite de recall puro
Somente RECALL correto ou errado é evidência de corte. Suposições e inferências corretas permanecem visíveis, mas não podem ultrapassar os limites de conhecimento do modelo posteriormente. Se as evidências forem insuficientes, o relatório diz isso em vez de inventar um limite.
- 6
Pontuação com uma rubrica de juiz versionada
A pontuação do título Model Match usa a rubrica de identidade do juiz, não uma média de diagnósticos de comportamento. Os metadados de corte oficiais permanecem separados do corte observado derivado de execuções de referência de administrador confiável.
Correspondência do modelo
Pontuação do juiz principal para consistência comportamental com o modelo de referência reivindicado.
Evidência de conhecimento
A recuperação factual e a atualidade do conhecimento diagnosticam o conhecimento do modelo demonstrado.
Resistência à Alucinação
Qualidade de comportamento útil, mas não agrega pontos à identidade do modelo.
Calibração
A confiança e a honestidade permanecem visíveis sem aumentar a correspondência do modelo.
Interpretação e limitações
A evidência comportamental é útil, mas não é uma prova criptográfica
O que um relatório forte apoia
- O endpoint se comportou de forma consistente com o perfil do modelo reivindicado neste benchmark.
- O padrão de recordação datado é compatível com a evidência de corte de referência.
- A abstenção, a confiança e o autorrelato do modelo foram avaliados em conjunto com o comportamento factual.
O que não pode provar
- Os pesos exatos das porções, a quantização ou o hardware não podem ser comprovados apenas pelo texto.
- Um provedor pode rotear solicitações diferentes para back-ends diferentes.
- Um teste é uma evidência sobre uma observação, não uma certificação permanente.
- Como o teste é executado no navegador do testador, um testador tecnicamente capaz pode modificar o código ou o tráfego do lado do cliente; relatórios públicos são evidências comportamentais, não atestados remotos.
Por que a repetição pública é importante
- Contas independentes reduzem a dependência de um testador.
- Os benchmarks versionados mantêm metodologias materialmente diferentes separadas.
- Os relatórios permanentes tornam as alterações e divergências vinculáveis e auditáveis.
FAQ
Perguntas sobre verificação de modelo de IA
Um nome de modelo de API pode provar qual modelo atendeu à solicitação?
Não. Um identificador de modelo retornado por uma API de caixa preta são metadados fornecidos por essa API. O Model Gate trata isso como uma afirmação e compara o comportamento com uma referência versionada coletada pelo administrador com respostas repetidas observadas.
Qual problema a verificação do modelo resolve?
Ajuda a investigar a substituição de modelos, alterações silenciosas de roteamento e outros casos em que o comportamento de um endpoint de IA de caixa preta pode não corresponder à identidade do modelo anunciada ao cliente.
Uma pontuação alta prova criptograficamente a identidade do modelo?
Não. A verificação do modelo é uma evidência comportamental, não uma atestação remota. O juiz avalia a correspondência comportamental, não a identidade exata do provedor, e nenhum limite do servidor altera o resultado.
Como o limite de conhecimento é testado?
Um coletor administrador habilitado obtém respostas repetidas para perguntas bancárias desatualizadas. Uma referência pronta abrange 16 meses em ambos os lados do RECALL estável observado. Um teste de usuário seleciona 32 questões salvas sem pesquisa e pede ao juiz que avalie os desvios nas duas direções.
O servidor concede um crachá de identidade de modelo?
Não. Os relatórios atuais baseados em referências mantêm a avaliação do juiz sem regras de pontuação do servidor ou um limite de identidade da comunidade. Os métodos históricos são rotulados separadamente.
As chaves de API externas são publicadas?
Não. A credencial externa permanece no navegador do testador e nunca é incluída em um relatório público. Os novos relatórios completos opt-in retêm apenas o texto do modelo extraído necessário para tornar a avaliação auditável.
Verifique o modelo por trás de um endpoint de IA
Execute um desafio no navegador, inspecione o rastreamento completo e, opcionalmente, publique um relatório permanente para que outros possam auditar e compartilhar.