Substitution de modèle
Un modèle moins cher ou différent peut être proposé derrière le nom du modèle annoncé. Une réponse de haute qualité ne prouve pas en soi l’identité revendiquée.
Confiance de l'API IA et identité du modèle
Vérifier si une API IA se comporte réellement comme le modèle qu'elle revendique
Un point de terminaison en boîte noire peut annoncer un nom de modèle coûteux tout en acheminant les demandes vers un backend différent, moins cher ou modifié silencieusement. Model Gate teste l'affirmation sur le plan comportemental avec des enquêtes factuelles datées, des preuves de coupure de rappel pur, des signaux de cohérence d'identité et un juge indépendant versionné.
Une demande externeLa clé API externe reste dans le navigateurRapports publics à lien permanentCorrespondance du modèle de référence v1.7
Pourquoi vérifier une API LLM ?
Le nom du modèle dans une réponse API est une revendication, pas une attestation à distance
Les clients choisissent souvent une API IA en fonction du modèle annoncé, du prix et des capacités attendues. Cependant, dans une API boîte noire, le client ne peut normalement pas inspecter le poids des portions ou la décision d'acheminement. Un proxy, un revendeur ou une passerelle peut renvoyer l'identifiant de modèle attendu alors que le comportement réel provient d'un autre backend. Cela crée un problème pratique de confiance en matière de substitution de modèle et de routage silencieux.
Modifications du routage silencieux
Un point de terminaison peut modifier les fournisseurs, les variantes, la quantification ou la politique de routage sans modifier la chaîne de modèle publique. Des preuves publiques répétées contribuent à faire apparaître une dérive comportementale.
Écart de date limite des connaissances
Un modèle revendiquant une identité récente peut rappeler à plusieurs reprises uniquement un état du monde plus ancien. Les sondes temporelles à rappel pur rendent cette inadéquation visible sans compter les suppositions comme des connaissances.
Recherche connexe
Des travaux universitaires ont formalisé la substitution de modèles dans les API LLM en boîte noire et montrent pourquoi la vérification des résultats uniquement est une preuve utile mais pas une preuve cryptographique. Model Gate signale donc une cohérence comportementale et des limitations explicites plutôt que de revendiquer une attestation à distance. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Registre public de vérification
Publier un nouveau testRechercher des tests publiés par modèle ou point de terminaison
Chaque exécution publiée possède une URL de rapport permanente. Les nouvelles exécutions de rapports complets incluent la réponse extraite du modèle testé, la notation de toutes les questions admises, les sources, les étiquettes de base et le raisonnement du juge nécessaire pour auditer ou partager le résultat.
8 rapports publiésLes filtres de recherche ne sont pas indexés ; les permaliens des rapports individuels le sont.
97/100
CONSISTENTgpt-6-astra
Déterminé par l’évaluateur: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Rappel factuel
- —
- Actualité
- —
- Hallucination
- —
- Étalonnage
- —
88/100
PLAUSIBLEgpt-6-astra
Déterminé par l’évaluateur: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Rappel factuel
- —
- Actualité
- —
- Hallucination
- —
- Étalonnage
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Déterminé par l’évaluateur: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Rappel factuel
- 0
- Actualité
- 0
- Hallucination
- 96
- Étalonnage
- 88
38/100
SUSPICIOUSclaude-opus-5
Déterminé par l’évaluateur: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Rappel factuel
- 0
- Actualité
- 0
- Hallucination
- 100
- Étalonnage
- 100
93/100
CONSISTENTclaude-opus-4-6
Déterminé par l’évaluateur: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Rappel factuel
- 94
- Actualité
- 92
- Hallucination
- 94
- Étalonnage
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Rappel factuel
- 88
- Actualité
- 88
- Hallucination
- 88
- Étalonnage
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Rappel factuel
- 83
- Actualité
- 82
- Hallucination
- 83
- Étalonnage
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Rappel factuel
- 100
- Actualité
- 100
- Hallucination
- 100
- Étalonnage
- 100
Preuve communautaire indépendante
Points de terminaison avec des preuves d'identité cohérentes et de référence actuelles
La qualification communautaire utilise une dernière exécution v1.7 publiée par compte Model Gate pour le même point de terminaison, le même modèle revendiqué, le même protocole et le même évaluateur au cours des 30 derniers jours. Le score de correspondance du modèle constitue une preuve d’identité ; la qualification communautaire nécessite toujours des évaluations d’identité indépendantes et cohérentes.
Aucun point de terminaison n’a encore atteint la cohérence de la communauté de référence actuelle.
Ce n’est pas une erreur : la qualification nécessite intentionnellement plusieurs comptes de référence actuels indépendants. Les preuves en cours et les analyses de référence historiques sont présentées ci-dessous au lieu d'un tableau vide.
Preuve historique de référence
claude-opus-5 · https://madclaude.cloud/v1/messages2 essais · 1 comptesmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 essais · 1 comptesmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 essais · 1 comptesmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Règle de qualification actuelle3+ testeurs indépendants · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% confiance d'identité moyenne
Méthode
Ce que Model Gate teste – et comment
Le benchmark est conçu pour mesurer un comportement difficile à simuler avec un seul champ de nom de modèle. Il sépare délibérément la qualité sémantique des réponses, le rappel pur de type paramètre, l’abstention/calibrage et la cohérence identitaire.
- 1
Construisez un défi daté
Benchmark v1.7 utilise d'abord la banque de questions réutilisable autour du seuil de référence du catalogue. Si la banque ne peut pas couvrir les mois demandés, une demande de recherche d'un juge de premier plan fournit le défi manquant et ajoute de nouveaux faits utilisables à la banque.
- 2
Sélectionnez des questions basées sur les résultats
Les questions représentent des résultats datés plutôt que des faits programmés ou prévisibles. Les métadonnées sources sont un contexte d'audit et les défauts de citation non critiques ne bloquent pas une question autrement utilisable et une réponse attendue.
- 3
Effectuer exactement une requête de point de terminaison testé
Le navigateur envoie le défi à livre fermé directement au point de terminaison HTTPS externe. L’identifiant externe ne passe jamais par Model Gate.
- 4
Jugez chaque réponse sémantiquement
Une réponse de modèle réussie non vide est envoyée au juge côté navigateur pour une évaluation sémantique, même lorsque son formatage est imparfait. L'évaluateur conserve RAPPEL / INFÉRENCE / DEVINATION / INCONNU lorsque ces preuves sont disponibles.
- 5
Construire une limite de rappel pur
Seul le RECALL correct ou erroné constitue une preuve de coupure. Les suppositions et les déductions correctes restent visibles mais ne peuvent pas repousser les limites des connaissances du modèle par la suite. Si les preuves sont insuffisantes, le rapport le dit au lieu d’inventer un seuil.
- 6
Noter avec une rubrique de juge versionnée
Le score principal de Model Match utilise la rubrique d’identité du juge, et non une moyenne de diagnostics comportementaux. Les métadonnées de seuil officiel restent distinctes du seuil observé dérivé des exécutions de référence d'administrateur de confiance.
Correspondance du modèle
Note du juge principal pour la cohérence comportementale avec le modèle de référence revendiqué.
Preuve de connaissances
Le rappel factuel et la récence des connaissances diagnostiquent les connaissances démontrées du modèle.
Résistance aux hallucinations
Qualité de comportement utile, mais cela n'ajoute pas de points à l'identité du modèle.
Étalonnage
L'honnêteté de la confiance reste visible sans gonfler la correspondance du modèle.
Interprétation et limites
Les preuves comportementales sont utiles, mais ne constituent pas une preuve cryptographique
Ce qu'un rapport solide soutient
- Le point de terminaison s'est comporté de manière cohérente avec le profil de modèle revendiqué sur cette référence.
- Le modèle de rappel daté est compatible avec les preuves du seuil de référence.
- L’abstention, la confiance et l’auto-évaluation du modèle ont été évaluées ainsi que le comportement factuel.
Ce qu'il ne peut pas prouver
- Le poids exact des portions, la quantification ou le matériel ne peuvent pas être prouvés à partir du seul texte.
- Un fournisseur peut acheminer différentes requêtes vers différents backends.
- Un test constitue la preuve d’une observation et non une certification permanente.
- Étant donné que le test s'exécute dans le navigateur du testeur, un testeur techniquement compétent peut modifier le code ou le trafic côté client ; Les rapports publics sont des preuves comportementales et non une attestation à distance.
Pourquoi la répétition publique est importante
- Les comptes indépendants réduisent le recours à un seul testeur.
- Les benchmarks versionnés séparent les méthodologies sensiblement différentes.
- Les rapports permanents permettent de relier et de vérifier les changements et les désaccords.
FAQ
Questions sur la vérification du modèle d'IA
Un nom de modèle d'API peut-il prouver quel modèle a répondu à la requête ?
Non. Un identifiant de modèle renvoyé par une API boîte noire est une métadonnée fournie par cette API. Model Gate le traite comme une réclamation et compare le comportement à une référence versionnée collectée par l'administrateur avec des réponses observées répétées.
Quel problème la vérification du modèle résout-elle ?
Il permet d'enquêter sur la substitution de modèle, les modifications de routage silencieux et d'autres cas dans lesquels le comportement d'un point de terminaison d'IA boîte noire peut ne pas correspondre à l'identité du modèle annoncée au client.
Un score élevé prouve-t-il cryptographiquement l’identité du modèle ?
Non. La vérification du modèle est une preuve comportementale et non une attestation à distance. Le juge évalue la correspondance comportementale, et non l'identité exacte du fournisseur, et aucun seuil de serveur ne modifie le résultat.
Comment le seuil de connaissances est-il testé ?
Un collecteur administrateur activé obtient des réponses répétées aux questions bancaires datées. Une référence prête s'étend sur 16 mois des deux côtés du RAPPEL stable observé. Un test utilisateur sélectionne 32 questions enregistrées sans recherche et demande au juge d'évaluer les écarts dans les deux sens.
Le serveur attribue-t-il un badge d'identité de modèle ?
Non. Les rapports actuels basés sur des références conservent l'évaluation des juges sans règles de score du serveur ni seuil d'identité de la communauté. Les méthodes historiques sont étiquetées séparément.
Les clés API externes sont-elles publiées ?
Non. Les informations d'identification externes restent dans le navigateur du testeur et ne sont jamais incluses dans un rapport public. Les nouveaux rapports complets opt-in conservent uniquement le texte du modèle extrait nécessaire pour rendre l’évaluation auditable.
Vérifiez le modèle derrière un point de terminaison d'IA
Exécutez un défi côté navigateur, inspectez la trace complète et publiez éventuellement un rapport permanent que d'autres pourront auditer et partager.