Substitúcia modelu
Za inzerovaným názvom modelu môže byť uvedený lacnejší alebo inak odlišný model. Kvalitná odpoveď sama o sebe nedokazuje uvádzanú identitu.
Identita dôveryhodnosti a modelu rozhrania AI API
Overte, či sa AI API skutočne správa ako model, ktorý si nárokuje
Koncový bod čiernej skrinky môže inzerovať názov drahého modelu a zároveň smerovať požiadavky na iný, lacnejší alebo ticho zmenený backend. Model Gate testuje tvrdenie behaviorálne s datovanými faktickými sondami, čistými dôkazmi o medznej hodnote stiahnutia, signálmi konzistentnosti identity a verzií nezávislého sudcu.
Jedna externá požiadavkaExterný kľúč API zostáva v prehliadačiVerejné správy s trvalým odkazomZhoda modelu Benchmark v1.7
Prečo overiť LLM API?
Názov modelu v odpovedi API je nárok, nie vzdialené overenie
Zákazníci si často vyberajú AI API na základe inzerovaného modelu, ceny a očakávaných schopností. V rozhraní API čiernej skrinky však zákazník zvyčajne nemôže kontrolovať hmotnosti podávania ani rozhodnutie o smerovaní. Proxy, predajca alebo brána môže vrátiť očakávaný identifikátor modelu, zatiaľ čo skutočné správanie pochádza z iného backendu. To vytvára praktický problém dôvery so substitúciou modelu a tichým smerovaním.
Tiché zmeny smerovania
Koncový bod môže zmeniť poskytovateľov, varianty, politiku kvantizácie alebo smerovania bez zmeny reťazca verejného modelu. Opakované verejné dôkazy pomáhajú povrchovému posunu správania.
Nezhoda časovej hranice znalostí
Model, ktorý sa hlási k súčasnej identite, si môže opakovane spomenúť len na starší stav sveta. Časové sondy s čistou pamäťou zviditeľnia tento nesúlad bez toho, aby sa odhady považovali za poznatky.
Súvisiaci výskum
Akademická práca formalizovala substitúciu modelu v black-box LLM API a ukazuje, prečo je overenie len na výstupe užitočným dôkazom, ale nie kryptografickým dôkazom. Model Gate preto hlási konzistentnosť správania a explicitné obmedzenia namiesto toho, aby požadovali overenie na diaľku. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Verejný overovací register
Zverejnite nový testVyhľadávajte publikované testy podľa modelu alebo koncového bodu
Každé zverejnené spustenie má trvalú adresu URL prehľadu. Nové kompletné správy zahŕňajú extrahovanú odpoveď testovaného modelu, známkovanie pre všetky prijaté otázky, zdroje, základné označenia a zdôvodnenie posúdenia potrebné na audit alebo zdieľanie výsledku.
8 zverejnené správyFiltre vyhľadávania nie sú indexované; sú trvalé odkazy na jednotlivé správy.
97/100
CONSISTENTgpt-6-astra
Určené hodnotiteľom: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Vybavovanie faktov
- —
- Aktuálnosť
- —
- Halucinácia
- —
- Kalibrácia
- —
88/100
PLAUSIBLEgpt-6-astra
Určené hodnotiteľom: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Vybavovanie faktov
- —
- Aktuálnosť
- —
- Halucinácia
- —
- Kalibrácia
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Určené hodnotiteľom: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Vybavovanie faktov
- 0
- Aktuálnosť
- 0
- Halucinácia
- 96
- Kalibrácia
- 88
38/100
SUSPICIOUSclaude-opus-5
Určené hodnotiteľom: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Vybavovanie faktov
- 0
- Aktuálnosť
- 0
- Halucinácia
- 100
- Kalibrácia
- 100
93/100
CONSISTENTclaude-opus-4-6
Určené hodnotiteľom: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Vybavovanie faktov
- 94
- Aktuálnosť
- 92
- Halucinácia
- 94
- Kalibrácia
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Vybavovanie faktov
- 88
- Aktuálnosť
- 88
- Halucinácia
- 88
- Kalibrácia
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Vybavovanie faktov
- 83
- Aktuálnosť
- 82
- Halucinácia
- 83
- Kalibrácia
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Vybavovanie faktov
- 100
- Aktuálnosť
- 100
- Halucinácia
- 100
- Kalibrácia
- 100
Dôkazy nezávislého spoločenstva
Koncové body s konzistentným dôkazom identity aktuálneho štandardu
Kvalifikácia komunity využíva jeden posledný zverejnený beh v1.7 na účet Model Gate pre rovnaký koncový bod, nárokovaný model, protokol a hodnotiteľa počas posledných 30 dní. Skóre zhody modelu je dôkazom identity; komunitná kvalifikácia si stále vyžaduje konzistentné nezávislé hodnotenie identity.
Žiadny koncový bod zatiaľ nedosiahol aktuálnu úroveň konzistentnosti komunity.
To nie je chyba: kvalifikácia si zámerne vyžaduje viacero nezávislých bežných benchmarkových účtov. Prebiehajúce dôkazy a historické porovnávacie testy sú zobrazené nižšie namiesto prázdnej tabuľky.
Historický referenčný dôkaz
claude-opus-5 · https://madclaude.cloud/v1/messages2 testy · 1 účtovmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 testy · 1 účtovmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 testy · 1 účtovmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Aktuálne kvalifikačné pravidlo3+ nezávislých testerov · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% priemerné sebavedomie identity
Metóda
Čo testuje Model Gate — a ako
Benchmark je navrhnutý tak, aby meral správanie, ktoré je ťažké sfalšovať iba s poľom s názvom modelu. Zámerne oddeľuje kvalitu sémantickej odpovede, vyvolanie čistého parametra, zdržanie sa/kalibráciu a konzistentnosť identity.
- 1
Zostavte si datovanú výzvu
Benchmark v1.7 najprv používa opakovane použiteľnú banku otázok okolo limitu katalógových referencií. Ak banka nemôže pokryť požadované mesiace, jedna žiadosť o prieskum popredného sudcu poskytne chýbajúcu výzvu a do banky pridá použiteľné nové fakty.
- 2
Vyberte otázky založené na výsledku
Otázky predstavujú skôr datované výsledky než plánované alebo predvídateľné skutočnosti. Zdrojové metadáta sú kontextom auditu a nekritické chyby citácií neblokujú inak použiteľnú otázku a očakávanú odpoveď.
- 3
Urobte presne jednu požiadavku na testovaný koncový bod
Prehliadač odošle výzvu s uzavretou knihou priamo na externý koncový bod HTTPS. Externé poverenie nikdy neprechádza cez Model Gate.
- 4
Každú odpoveď posúďte sémanticky
Neprázdna úspešná odpoveď modelu sa odošle sudcovi na strane prehliadača na sémantické hodnotenie, aj keď je jej formátovanie nedokonalé. Hodnotiteľ uchováva RECALL/INFERENCE/GUESS/UNNKNOWN tam, kde sú tieto dôkazy dostupné.
- 5
Vytvorte hranicu čistého stiahnutia
Iba správne alebo nesprávne RECALL je medzný dôkaz. Správne odhady a závery zostávajú viditeľné, ale neskôr nemôžu posunúť hranicu znalostí modelu. Ak sú dôkazy nedostatočné, správa to hovorí namiesto toho, aby vymyslela hranicu.
- 6
Skóre s verziou sudcovskej rubriky
V nadpise skóre Model Match sa používa rubrika identity sudcu, nie priemer diagnostiky správania. Oficiálne metadáta ukončenia zostávajú oddelené od Observed cutoff odvodeného z referenčných behov dôveryhodných správcov.
Zhoda modelu
Skóre hlavného rozhodcu za konzistentnosť správania s nárokovaným referenčným modelom.
Vedomostné dôkazy
Diagnóza faktického zapamätania a aktuálnosti vedomostí preukázala modelové znalosti.
Odolnosť voči halucináciám
Užitočná kvalita správania, ale nepridáva body k identite modelu.
Kalibrácia
Dôvera a poctivosť zostáva viditeľná bez toho, aby sa nafúkol modelový zápas.
Výklad a obmedzenia
Dôkaz o správaní je užitočný, ale nie je kryptografickým dôkazom
Čo silná správa podporuje
- Koncový bod sa v tomto benchmarku správal konzistentne s nárokovaným profilom modelu.
- Datovaný vzor stiahnutia je kompatibilný s dôkazom referenčného limitu.
- Hodnotila sa abstinencia, sebadôvera a sebareportáž modelky spolu s faktickým správaním.
Čo nemôže dokázať
- Presné hmotnosti podávania, kvantovanie alebo hardvér nie je možné dokázať iba z textu.
- Poskytovateľ môže smerovať rôzne požiadavky na rôzne backendy.
- Jeden test je dôkazom o jednom pozorovaní, nie trvalou certifikáciou.
- Keďže test prebieha v prehliadači testera, technicky zdatný tester môže upravovať kód alebo návštevnosť na strane klienta; verejné správy sú dôkazom správania, nie diaľkovým potvrdením.
Prečo je verejné opakovanie dôležité
- Nezávislé účty znižujú závislosť od jedného testera.
- Verzie benchmarkov uchovávajú materiálne odlišné metodológie oddelené.
- Vďaka trvalým správam sú zmeny a nezhody prepojiteľné a kontrolovateľné.
FAQ
Otázky týkajúce sa overenia modelu AI
Môže názov modelu API dokázať, ktorý model splnil požiadavku?
Nie. Identifikátor modelu vrátený rozhraním API čiernej skrinky sú metadáta dodávané týmto rozhraním API. Model Gate s tým zaobchádza ako s tvrdením a porovnáva správanie s verzovanou referenciou zhromaždenou správcom s opakovanými pozorovanými odpoveďami.
Aký problém rieši overenie modelu?
Pomáha skúmať nahradenie modelu, tiché zmeny smerovania a ďalšie prípady, keď sa správanie koncového bodu AI v čiernej skrinke nemusí zhodovať s identitou modelu inzerovanou zákazníkovi.
Dokazuje vysoké skóre kryptograficky identitu modelu?
Nie. Overenie modelu je dôkazom správania, nie diaľkovým overením. Sudca posudzuje korešpondenciu správania, nie presnú identitu poskytovateľa a žiadny prah servera nemení výsledok.
Ako sa testuje hranica vedomostí?
Povolený správca zberateľ získava opakované odpovede na otázky banky s dátumom. Hotová referencia zahŕňa 16 mesiacov na oboch stranách stabilného pozorovaného RECALL. Používateľský test vyberie 32 uložených otázok bez skúmania a požiada sudcu, aby posúdil odchýlky v oboch smeroch.
Udeľuje server odznak identity modelu?
Nie. Aktuálne správy založené na referenciách zachovávajú hodnotenie sudcu bez pravidiel hodnotenia servera alebo hranice identity komunity. Historické metódy sú označené samostatne.
Sú zverejnené externé kľúče API?
Nie. Externé poverenia zostávajú v prehliadači testera a nikdy nie sú zahrnuté vo verejnej správe. V nových úplných správach na prihlásenie sa uchováva iba extrahovaný vzorový text potrebný na to, aby bolo hodnotenie auditovateľné.
Skontrolujte model za koncovým bodom AI
Spustite jednu výzvu na strane prehliadača, skontrolujte kompletné sledovanie a prípadne publikujte trvalú správu, ktorú môžu ostatní kontrolovať a zdieľať.