Substitució de models
Es pot oferir un model més barat o diferent al darrere del nom del model anunciat. Una resposta d'alta qualitat per si mateixa no prova la identitat reclamada.
Confiança de l'API d'IA i identitat del model
Verifiqueu si una API d'IA es comporta realment com el model que reclama
Un punt final de caixa negra pot anunciar un nom de model car mentre encamina les sol·licituds a un backend diferent, més barat o canviat en silenci. Model Gate prova l'afirmació comportamentalment amb sondes de fets datades, proves de tall de record pur, senyals de coherència de la identitat i un jutge independent versionat.
Una sol·licitud externaLa clau de l'API externa es manté al navegadorInformes públics d'enllaç permanentCoincidència del model de referència v1.7
Per què verificar una API de LLM?
El nom del model en una resposta de l'API és una reclamació, no una certificació remota
Els clients solen triar una API d'IA en funció del model anunciat, el preu i la capacitat esperada. En una API de caixa negra, però, el client normalment no pot inspeccionar els pesos de servei o la decisió d'enrutament. Un servidor intermediari, un distribuïdor o una passarel·la pot retornar l'identificador de model esperat mentre que el comportament real prové d'un altre backend. Això crea un problema pràctic de substitució de models i de confiança d'encaminament silenciós.
Canvis silenciosos de ruta
Un punt final pot canviar proveïdors, variants, quantificació o política d'encaminament sense canviar la cadena de model públic. L'evidència pública repetida ajuda a la deriva del comportament superficial.
Discrepància en la data límit de coneixement
Un model que reivindica una identitat recent pot recordar repetidament només un estat més antic del món. Les sondes temporals de record pur fan visible aquest desajust sense comptar les conjectures com a coneixement.
Recerca relacionada
El treball acadèmic ha formalitzat la substitució de models a les API de LLM de caixa negra i mostra per què la verificació només de sortida és una prova útil però no una prova criptogràfica. Per tant, Model Gate informa de la coherència del comportament i les limitacions explícites en lloc de reclamar una certificació remota. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Registre públic de verificació
Publicar una prova novaCerca proves publicades per model o punt final
Cada execució publicada té un URL d'informe permanent. Les noves execucions d'informes complets inclouen la resposta extreta del model provat, la qualificació de totes les preguntes admeses, les fonts, les etiquetes de base i el raonament del jutge necessari per auditar o compartir el resultat.
8 informes publicatsEls filtres de cerca no estan indexats; els enllaços permanents dels informes individuals són.
97/100
CONSISTENTgpt-6-astra
Determinat per l’avaluador: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Record de fets
- —
- Actualitat
- —
- Al·lucinació
- —
- Calibració
- —
88/100
PLAUSIBLEgpt-6-astra
Determinat per l’avaluador: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Record de fets
- —
- Actualitat
- —
- Al·lucinació
- —
- Calibració
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Determinat per l’avaluador: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Record de fets
- 0
- Actualitat
- 0
- Al·lucinació
- 96
- Calibració
- 88
38/100
SUSPICIOUSclaude-opus-5
Determinat per l’avaluador: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Record de fets
- 0
- Actualitat
- 0
- Al·lucinació
- 100
- Calibració
- 100
93/100
CONSISTENTclaude-opus-4-6
Determinat per l’avaluador: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Record de fets
- 94
- Actualitat
- 92
- Al·lucinació
- 94
- Calibració
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Record de fets
- 88
- Actualitat
- 88
- Al·lucinació
- 88
- Calibració
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Record de fets
- 83
- Actualitat
- 82
- Al·lucinació
- 83
- Calibració
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Record de fets
- 100
- Actualitat
- 100
- Al·lucinació
- 100
- Calibració
- 100
Evidència comunitària independent
Punts finals amb proves d'identitat coherents de referència actual
La qualificació de la comunitat utilitza una darrera execució de la versió 1.7 publicada per compte de Model Gate per al mateix punt final, model reclamat, protocol i avaluador durant els darrers 30 dies. La puntuació del model Match és una prova d'identitat; La qualificació de la comunitat encara requereix avaluacions d'identitat independents coherents.
Cap punt final encara ha assolit la coherència actual de la comunitat de referència.
Això no és un error: la qualificació requereix intencionadament diversos comptes de referència actuals independents. L'evidència en progrés i les proves històriques de referència es mostren a continuació en lloc d'una taula buida.
Evidència de referència històrica
claude-opus-5 · https://madclaude.cloud/v1/messages2 proves · 1 comptesmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 proves · 1 comptesmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 proves · 1 comptesmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Norma de qualificació vigent3+ provadors independents · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% confiança en la identitat mitjana
Mètode
Què prova Model Gate i com
El punt de referència està dissenyat per mesurar el comportament que és difícil de falsificar només amb un camp de nom de model. Separa deliberadament la qualitat de la resposta semàntica, el record pur de paràmetres, l'abstenció/calibració i la consistència de la identitat.
- 1
Crea un repte antic
Benchmark v1.7 fa servir primer el banc de preguntes reutilitzables al voltant del tall de referència del catàleg. Si el banc no pot cobrir els mesos sol·licitats, una sol·licitud d'investigació del jutge de primer pla ofereix el repte que falta i afegeix nous fets útils al banc.
- 2
Seleccioneu preguntes basades en resultats
Les preguntes representen resultats antics en lloc de fets programats o previsibles. Les metadades d'origen són el context d'auditoria i els defectes de citació no crítics no bloquegen una pregunta i una resposta esperada d'una altra manera.
- 3
Feu exactament una sol·licitud de punt final provat
El navegador envia el repte de llibre tancat directament al punt final HTTPS extern. La credencial externa mai passa per Model Gate.
- 4
Jutgeu cada resposta semànticament
S'envia una resposta correcta del model no buida al jutge del navegador per a la qualificació semàntica fins i tot quan el seu format és imperfecte. L'avaluador conserva RECOLLIR / INFERÈNCIA / ENDEVINAR / DESCONEGUT on es disposa d'aquesta evidència.
- 5
Construeix un límit de record pur
Només el RECALL correcte o incorrecte és l'evidència de tall. Les conjectures i les inferències correctes segueixen sent visibles, però no poden superar el límit de coneixement del model més endavant. Si les proves són insuficients, l'informe ho diu en lloc d'inventar-se un tall.
- 6
Puntua amb una rúbrica de jutge versionada
La puntuació de la concordança del model del títol utilitza la rúbrica d'identitat del jutge, no una mitjana de diagnòstics de comportament. Les metadades de tall oficial es mantenen separades del tall observat derivat de les execucions de referència de l'administrador de confiança.
Coincidència del model
Puntuació del jutge principal per a la coherència del comportament amb el model de referència reclamat.
Evidència de coneixement
Recuperació de fets i coneixement Recent Diagnòstic de coneixement demostrat del model.
Resistència a les al·lucinacions
Qualitat de comportament útil, però no afegeix punts a la identitat del model.
Calibració
L'honestedat de la confiança es manté visible sense inflar el partit del model.
Interpretació i limitacions
L'evidència del comportament és útil, però no és una prova criptogràfica
Quin informe tan contundent recolza
- El punt final es va comportar de manera coherent amb el perfil del model reclamat en aquest punt de referència.
- El patró de record datat és compatible amb l'evidència de tall de referència.
- L'abstenció, la confiança i l'autoinforme del model es van avaluar juntament amb el comportament real.
El que no pot demostrar
- Els pesos de porció exactes, la quantificació o el maquinari no es poden demostrar només a partir del text.
- Un proveïdor pot dirigir diferents sol·licituds a diferents backends.
- Una prova és una evidència sobre una observació, no una certificació permanent.
- Com que la prova s'executa al navegador del provador, un provador tècnicament capaç pot modificar el codi o el trànsit del costat del client; Els informes públics són proves de comportament, no testimoniatge remot.
Per què és important la repetició pública
- Els comptes independents redueixen la dependència d'un verificador.
- Els punts de referència amb versions mantenen separades metodologies materialment diferents.
- Els informes permanents permeten enllaçar i auditar els canvis i els desacords.
FAQ
Preguntes sobre la verificació del model d'IA
Pot un nom de model d'API demostrar quin model va servir la sol·licitud?
No. Un identificador de model retornat per una API de caixa negra són metadades que proporciona aquesta API. Model Gate el tracta com una reclamació i compara el comportament amb una referència recopilada per l'administrador amb versions amb respostes observades repetides.
Quin problema aborda la verificació del model?
Ajuda a investigar la substitució de models, els canvis d'encaminament silenciosos i altres casos en què el comportament d'un punt final d'IA de caixa negra pot no coincidir amb la identitat del model anunciada al client.
Una puntuació alta demostra criptogràficament la identitat del model?
No. La verificació del model és una evidència de comportament, no una certificació remota. El jutge avalua la correspondència de comportament, no la identitat exacta del proveïdor i cap llindar del servidor canvia el resultat.
Com es prova el tall de coneixement?
Un col·lector d'administradors habilitat obté respostes repetides a preguntes bancàries amb data. Una referència preparada abasta 16 mesos a banda i banda del RECALL observat estable. Una prova d'usuari selecciona 32 preguntes desades sense investigar i demana al jutge que avaluï les desviacions en ambdues direccions.
El servidor atorga una insígnia d'identitat de model?
No. Els informes actuals basats en referències conserven l'avaluació del jutge sense regles de puntuació del servidor ni un llindar d'identitat de comunitat. Els mètodes històrics s'etiqueten per separat.
Es publiquen les claus d'API externes?
No. La credencial externa es manté al navegador del provador i mai s'inclou en un informe públic. Els nous informes complets d'acceptació només conserven el text model extret necessari per fer que l'avaluació sigui auditable.
Comproveu el model darrere d'un punt final d'IA
Executeu un repte al costat del navegador, inspeccioneu la traça completa i, opcionalment, publiqueu un informe permanent perquè altres puguin auditar i compartir.