Înlocuirea modelului
Un model mai ieftin sau diferit poate fi oferit în spatele numelui modelului anunțat. Un răspuns de înaltă calitate în sine nu dovedește identitatea revendicată.
Încrederea AI API și identitatea modelului
Verificați dacă un API AI se comportă într-adevăr ca modelul pe care îl pretinde
Un punct final de tip cutie neagră poate face publicitate unui nume de model scump în timp ce direcționează cererile către un backend diferit, mai ieftin sau modificat în tăcere. Model Gate testează afirmația din punct de vedere comportamental cu probe de fapt datate, dovezi de retragere pură, semnale de consecvență a identității și un judecător independent cu versiune.
O cerere externăCheia API externă rămâne în browserRapoarte publice de permalinkPotrivirea modelului benchmark v1.7
De ce să verificați un API LLM?
Numele modelului dintr-un răspuns API este o revendicare, nu o atestare de la distanță
Clienții aleg adesea un API AI în funcție de modelul promovat, prețul și capacitatea așteptată. Cu toate acestea, într-o cutie neagră API, clientul nu poate inspecta în mod normal greutățile de servire sau decizia de rutare. Un proxy, un reseller sau un gateway poate returna identificatorul de model așteptat, în timp ce comportamentul real provine de la un alt backend. Aceasta creează o problemă practică de înlocuire a modelului și de rutare silențioasă.
Modificări silențioase de rutare
Un punct final poate schimba furnizorii, variantele, politica de cuantizare sau rutare fără a modifica șirul de model public. Dovezile publice repetate ajută la suprafața derivării comportamentale.
Nepotrivire a limitei temporale a cunoștințelor
Un model care pretinde o identitate recentă poate aminti în mod repetat doar o stare mai veche a lumii. Sondele temporale cu reamintire pură fac vizibilă această nepotrivire fără a considera presupunerile ca cunoștințe.
Cercetări înrudite
Lucrările academice au oficializat înlocuirea modelului în API-urile LLM cu casetă neagră și arată de ce verificarea numai prin rezultat este o dovadă utilă, dar nu o dovadă criptografică. Prin urmare, Model Gate raportează consistența comportamentală și limitările explicite, mai degrabă decât să pretindă atestarea de la distanță. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Registrul public de verificare
Publicați un nou testCăutați testele publicate după model sau punct final
Fiecare rulare publicată are o adresă URL de raport permanent. Noile execuții ale rapoartelor complete includ răspunsul extras al modelului testat, notarea pentru toate întrebările admise, sursele, etichetele de bază și raționamentul judecator necesar pentru auditarea sau distribuirea rezultatului.
8 rapoarte publicateFiltrele de căutare nu sunt indexate; permalink-urile raportului individual sunt.
97/100
CONSISTENTgpt-6-astra
Determinat de evaluator: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Reamintirea faptelor
- —
- Actualitate
- —
- Halucinaţie
- —
- Calibrare
- —
88/100
PLAUSIBLEgpt-6-astra
Determinat de evaluator: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Reamintirea faptelor
- —
- Actualitate
- —
- Halucinaţie
- —
- Calibrare
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Determinat de evaluator: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Reamintirea faptelor
- 0
- Actualitate
- 0
- Halucinaţie
- 96
- Calibrare
- 88
38/100
SUSPICIOUSclaude-opus-5
Determinat de evaluator: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Reamintirea faptelor
- 0
- Actualitate
- 0
- Halucinaţie
- 100
- Calibrare
- 100
93/100
CONSISTENTclaude-opus-4-6
Determinat de evaluator: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Reamintirea faptelor
- 94
- Actualitate
- 92
- Halucinaţie
- 94
- Calibrare
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Reamintirea faptelor
- 88
- Actualitate
- 88
- Halucinaţie
- 88
- Calibrare
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Reamintirea faptelor
- 83
- Actualitate
- 82
- Halucinaţie
- 83
- Calibrare
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Reamintirea faptelor
- 100
- Actualitate
- 100
- Halucinaţie
- 100
- Calibrare
- 100
Dovezi comunitare independente
Endpoint-uri cu dovezi de identitate consecvente ale reperului actual
Calificarea comunității folosește cea mai recentă execuție v1.7 publicată pentru fiecare cont Model Gate pentru același punct final, model revendicat, protocol și evaluator în ultimele 30 de zile. Scorul Model Match este o dovadă de identitate; calificarea comunității necesită încă evaluări independente de identitate consistente.
Niciun punct final nu a atins încă coerența comunității de referință actuală.
Aceasta nu este o eroare: calificarea necesită în mod intenționat mai multe conturi de referință curente independente. Dovezile în desfășurare și rundele de referință istorice sunt afișate mai jos în loc de un tabel gol.
Dovezi istorice de referință
claude-opus-5 · https://madclaude.cloud/v1/messages2 teste · 1 conturimodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 teste · 1 conturimodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 teste · 1 conturimodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Regula actuală de calificare3+ testeri independenți · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% încredere medie în identitate
Metodă
Ce testează Model Gate - și cum
Benchmark-ul este conceput pentru a măsura comportamentul care este greu de falsificat doar cu un câmp de nume de model. Separă în mod deliberat calitatea răspunsului semantic, rechemarea pură a parametrilor, abținerea/calibrarea și consistența identității.
- 1
Construiește o provocare datată
Benchmark v1.7 folosește mai întâi banca de întrebări reutilizabile în jurul limitei de referință a catalogului. În cazul în care banca nu poate acoperi lunile solicitate, o cerere de cercetare a judecătorului din prim plan furnizează provocarea lipsă și adaugă băncii fapte noi utilizabile.
- 2
Selectați întrebări bazate pe rezultate
Întrebările reprezintă mai degrabă rezultate datate decât fapte programate sau previzibile. Metadatele sursă sunt contextul de audit și defectele de citare necritice nu blochează o întrebare și răspunsul așteptat altfel utilizabil.
- 3
Efectuați exact o cerere de punct final testat
Browserul trimite provocarea cu carte închisă direct la punctul final HTTPS extern. Acreditarea externă nu trece niciodată prin Model Gate.
- 4
Judecă fiecare răspuns din punct de vedere semantic
Un răspuns nevid al modelului de succes este trimis judecătorului din partea browserului pentru evaluare semantică chiar și atunci când formatarea este imperfectă. Evaluatorul păstrează RECALL / INFERENCE / GUESS / NESKNOWN acolo unde aceste dovezi sunt disponibile.
- 5
Construiți o limită pură de reamintire
Doar RECALL-ul corect sau greșit este dovada tăiată. Presupunerile și inferențe corecte rămân vizibile, dar nu pot depăși granița cunoștințelor modelului mai târziu. Dacă dovezile sunt insuficiente, raportul spune acest lucru în loc să inventeze o limită.
- 6
Punctajul cu o rubrică a judecătorului versiunea
Scorul de potrivire a modelului de titlu folosește grila de identitate a judecătorului, nu o medie a diagnosticelor de comportament. Metadatele oficiale ale limitei rămân separate de limitele observate derivate din rulările de referință de încredere ale administratorului.
Potrivirea modelului
Scorul principal al judecătorului pentru coerența comportamentală cu modelul de referință revendicat.
Dovezi de cunoștințe
Reamintirea faptelor și cunoștințele Diagnosticarea recentă a demonstrat cunoștințele modelului.
Rezistenta la halucinatii
Calitatea comportamentului util, dar nu adaugă puncte la identitatea modelului.
Calibrare
Onestitatea încrederii rămâne vizibilă fără a umfla potrivirea modelului.
Interpretare și limitări
Dovezile comportamentale sunt utile, dar nu sunt o dovadă criptografică
Ce raport puternic susține
- Punctul final s-a comportat în mod consecvent cu profilul modelului revendicat pe acest punct de referință.
- Modelul de reamintire datat este compatibil cu dovezile limită de referință.
- Abținerea, încrederea și auto-raportarea modelului au fost evaluate împreună cu comportamentul real.
Ceea ce nu poate dovedi
- Greutățile exacte de porție, cuantizarea sau hardware-ul nu pot fi dovedite doar din text.
- Un furnizor poate direcționa diferite solicitări către diferite backend-uri.
- Un test este o dovadă despre o observație, nu o certificare permanentă.
- Deoarece testul rulează în browserul testerului, un tester capabil din punct de vedere tehnic poate modifica codul sau traficul la nivelul clientului; rapoartele publice sunt dovezi comportamentale, nu atestare de la distanță.
De ce contează repetiția publică
- Conturile independente reduc dependența de un singur tester.
- Benchmark-urile cu versiuni păstrează separat metodologiile material diferite.
- Rapoartele permanente fac ca modificările și dezacordurile să fie conectate și auditabile.
FAQ
Întrebări despre verificarea modelului AI
Numele unui model API poate dovedi care model a servit solicitarea?
Nu. Un identificator de model returnat de un API-cutie neagră este metadatele furnizate de acel API. Model Gate îl tratează ca pe o revendicare și compară comportamentul cu o referință colectată de administrator cu versiuni cu răspunsuri observate repetate.
Ce problemă abordează Verificarea modelului?
Ajută la investigarea înlocuirii modelului, modificărilor de rutare silențioasă și a altor cazuri în care comportamentul unui punct final AI cutie neagră poate să nu se potrivească cu identitatea modelului anunțat clientului.
Un scor mare dovedește criptografic identitatea modelului?
Nu. Verificarea modelului este o dovadă comportamentală, nu o atestare de la distanță. Judecătorul evaluează corespondența comportamentală, nu identitatea exactă a furnizorului și niciun prag de server nu modifică rezultatul.
Cum este testată limita de cunoștințe?
Un colector de administrator activat obține răspunsuri repetate la întrebările bancare datate. O referință gata se întinde pe 16 luni pe ambele părți ale RECALL-ului observat stabil. Un test de utilizator selectează 32 de întrebări salvate fără cercetare și îi cere judecătorului să evalueze abaterile în ambele direcții.
Serverul acordă o insignă de identitate a modelului?
Nu. Rapoartele curente bazate pe referințe păstrează evaluarea judecătorului fără reguli de scor de server sau un prag de identitate a comunității. Metodele istorice sunt etichetate separat.
Sunt publicate cheile API externe?
Nu. Acreditările externe rămân în browserul testerului și nu sunt niciodată incluse într-un raport public. Noile rapoarte complete de înscriere păstrează doar textul model extras necesar pentru a face evaluarea auditabilă.
Verificați modelul din spatele unui punct final AI
Rulați o provocare la nivelul browserului, inspectați traseul complet și, opțional, publicați un raport permanent pentru ca alții să îl auditeze și să îl partajeze.