Mudeli asendamine
Reklaamitud mudelinime taga võidakse serveerida odavam või muul moel teistsugune mudel. Kvaliteetne vastus iseenesest ei tõenda väidetavat identiteeti.
AI API usaldus ja mudeli identiteet
Kontrollige, kas AI API käitub tegelikult nii, nagu see mudel, mida ta väidab
Musta kasti lõpp-punkt võib reklaamida kallist mudelinime, suunates samal ajal päringud teisele, odavamale või vaikselt muudetud taustaprogrammile. Model Gate testib väidet käitumuslikult, kasutades dateeritud faktiuuringuid, puhast meeldetuletamist piiravaid tõendeid, identiteedi järjepidevuse signaale ja versioonidega sõltumatut kohtunikku.
Üks väline taotlusVäline API võti jääb brauserisseAvalikud püsilingi aruandedVõrdlusaluse v1.7 mudeli vaste
Miks kontrollida LLM API-d?
Mudeli nimi API vastuses on nõue, mitte kaugtõend
Kliendid valivad sageli AI API reklaamitud mudeli, hinna ja eeldatava võimekuse alusel. Kuid musta kasti API puhul ei saa klient tavaliselt serveerimiskaalusid ega marsruudiotsust kontrollida. Puhverserver, edasimüüja või lüüs võivad tagastada oodatud mudeli identifikaatori, kui tegelik käitumine pärineb teisest taustaprogrammist. See loob praktilise mudeli asendamise ja vaikse marsruutimise usaldusprobleemi.
Vaikne marsruut muutub
Lõpp-punkt võib muuta pakkujaid, variante, kvantimise või marsruutimise poliitikat ilma avalikku mudelistringi muutmata. Korduvad avalikud tõendid aitavad käitumist pinnale triivida.
Teadmiste ajalise piiri mittevastavus
Hiljutisele identiteedile pretendeeriv mudel võib korduvalt meenutada ainult mõnda vanemat maailma seisukorda. Puhtalt meeldetuletavad ajalised sondid muudavad selle mittevastavuse nähtavaks, ilma et arvestataks oletusi teadmistena.
Seotud uuringud
Akadeemiline töö on vormistanud mudeli asendamise musta kasti LLM API-des ja näitab, miks ainult väljundi kontrollimine on kasulik tõend, kuid mitte krüptograafiline tõend. Seetõttu teatab Model Gate käitumise järjepidevusest ja selgetest piirangutest, selle asemel, et taotleda kaugtõendamist. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Avalik kinnitusregister
Avalda uus testOtsige avaldatud teste mudeli või lõpp-punkti järgi
Igal avaldatud käitamisel on püsiv aruande URL. Uued täielikud aruandekäitused hõlmavad testitud mudeli vastuseid, kõigi lubatud küsimuste hindamist, allikaid, põhisilte ja tulemuste auditeerimiseks või jagamiseks vajalikke arutluskäike.
8 avaldatud aruandedOtsingufiltrid ei ole indekseeritud; individuaalsed aruande püsilingid on.
97/100
CONSISTENTgpt-6-astra
Hindaja määratud: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Faktide meenutamine
- —
- Ajakohasus
- —
- Hallutsinatsioonid
- —
- Kalibreerimine
- —
88/100
PLAUSIBLEgpt-6-astra
Hindaja määratud: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Faktide meenutamine
- —
- Ajakohasus
- —
- Hallutsinatsioonid
- —
- Kalibreerimine
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Hindaja määratud: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Faktide meenutamine
- 0
- Ajakohasus
- 0
- Hallutsinatsioonid
- 96
- Kalibreerimine
- 88
38/100
SUSPICIOUSclaude-opus-5
Hindaja määratud: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Faktide meenutamine
- 0
- Ajakohasus
- 0
- Hallutsinatsioonid
- 100
- Kalibreerimine
- 100
93/100
CONSISTENTclaude-opus-4-6
Hindaja määratud: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Faktide meenutamine
- 94
- Ajakohasus
- 92
- Hallutsinatsioonid
- 94
- Kalibreerimine
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Faktide meenutamine
- 88
- Ajakohasus
- 88
- Hallutsinatsioonid
- 88
- Kalibreerimine
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Faktide meenutamine
- 83
- Ajakohasus
- 82
- Hallutsinatsioonid
- 83
- Kalibreerimine
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Faktide meenutamine
- 100
- Ajakohasus
- 100
- Hallutsinatsioonid
- 100
- Kalibreerimine
- 100
Sõltumatud kogukonna tõendid
Lõpp-punktid, millel on järjepidevad praeguse võrdlusaluse identiteedi tõendid
Kogukonna kvalifikatsioon kasutab üht viimast avaldatud versiooni 1.7 käitamist Model Gate'i konto kohta sama lõpp-punkti, väidetava mudeli, protokolli ja hindaja jaoks viimase 30 päeva jooksul. Model Match skoor on isikut tõendav dokument; kogukonna kvalifikatsioon nõuab endiselt järjepidevat sõltumatut identiteedi hindamist.
Ükski lõpp-punkt ei ole veel saavutanud kogukonna praeguse etaloni järjepidevust.
See ei ole viga: kvalifitseerimine nõuab tahtlikult mitut sõltumatut jooksva võrdluskonto kontot. Allpool kuvatakse tühja tabeli asemel pooleli olevad tõendid ja ajaloolised võrdlusuuringud.
Ajaloolised etalontõendid
claude-opus-5 · https://madclaude.cloud/v1/messages2 testid · 1 kontosidmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 testid · 1 kontosidmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 testid · 1 kontosidmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Kehtiv kvalifitseerimise reegel3+ sõltumatud testijad · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% keskmine identiteedikindlus
meetod
Mida Model Gate testib ja kuidas
Võrdlusaluse eesmärk on mõõta käitumist, mida on ainult mudeli nime väljaga raske võltsida. See eraldab teadlikult semantilise vastuse kvaliteedi, puhta parameetrilaadse meeldetuletuse, hoidumise/kalibreerimise ja identiteedi järjepidevuse.
- 1
Koostage aegunud väljakutse
Võrdlusuuringu versioon 1.7 kasutab esmalt korduvkasutatavat küsimustepanka kataloogi viitepiiri ümber. Kui pank ei suuda taotletud kuud katta, esitab üks esiplaani kohtuniku uurimistaotlus puuduva väljakutse ja lisab pangale uusi kasutatavaid fakte.
- 2
Valige tulemusepõhised küsimused
Küsimused esindavad pigem aegunud tulemusi kui kavandatud või prognoositavaid fakte. Allika metaandmed on auditi kontekst ja mittekriitilised tsitaadivead ei blokeeri muidu kasutatavat küsimust ja oodatud vastust.
- 3
Tehke täpselt üks testitud lõpp-punkti päring
Brauser saadab suletud raamatu väljakutse otse välisele HTTPS-i lõpp-punktile. Väline mandaat ei läbi kunagi Model Gate'i.
- 4
Hinda iga vastust semantiliselt
Mittetühi edukas mudeli vastus saadetakse brauseripoolsele kohtunikule semantiliseks hindamiseks isegi siis, kui selle vorming on ebatäiuslik. Hindaja säilitab MEELDE / JÄRELDUS / ARVATAMINE / TUNDMATU, kus need tõendid on saadaval.
- 5
Ehitage puhta meeldetuletamise piir
Ainult õige või vale MEELDETULETUS on piirtõend. Õiged oletused ja järeldused jäävad nähtavaks, kuid ei saa hiljem mudeli teadmiste piiri nihutada. Kui tõendid on ebapiisavad, öeldakse aruandes seda, selle asemel, et leiutada piiri.
- 6
Hinda versiooniga kohtunikurubriiki
Pealkirja Model Match skoor kasutab kohtuniku identiteedi rubriiki, mitte käitumisdiagnostika keskmist. Ametlikud piiride metaandmed jäävad usaldusväärsete administraatorite võrdluskäibetest tuletatud vaadeldud piirist eraldi.
Mudeli vastavus
Peakohtuniku skoor käitumise kooskõla eest väidetava võrdlusmudeliga.
Teadmiste tõendid
Faktide meeldetuletamise ja teadmiste hiljutise diagnoosimine näitas mudeliteadmisi.
Hallutsinatsioonide resistentsus
Kasulik käitumiskvaliteet, kuid see ei lisa mudeli identiteedile punkte.
Kalibreerimine
Enesekindluse ausus jääb nähtavaks, ilma et mudel sobiks.
Tõlgendamine ja piirangud
Käitumuslikud tõendid on kasulikud, kuid need ei ole krüptograafilised tõendid
Mida tugev raport toetab
- Lõpp-punkt käitus sellel võrdlusalusel väidetava mudeliprofiiliga kooskõlas.
- Dateeritud tagasikutsumise muster ühildub viiteandmetega.
- Hinnati modelli kõrvalehoidmist, enesekindlust ja enesehinnangut koos faktilise käitumisega.
Mida see tõestada ei suuda
- Täpseid portsjonikaalusid, kvantifitseerimist ega riistvara ei saa ainult teksti põhjal tõestada.
- Pakkuja saab suunata erinevad päringud erinevatele taustaprogrammidele.
- Üks test on tõend ühe vaatluse kohta, mitte püsiv sertifikaat.
- Kuna test jookseb testija brauseris, saab tehniliselt võimekas testija muuta kliendipoolset koodi või liiklust; avalikud aruanded on käitumuslikud tõendid, mitte kaugtõend.
Miks on avalik kordamine oluline?
- Sõltumatud kontod vähendavad sõltuvust ühest testijast.
- Versioonitud etalonid hoiavad oluliselt erinevad metoodikad eraldi.
- Püsiaruanded muudavad muudatused ja erimeelsused seotavaks ja auditeeritavaks.
FAQ
Küsimused AI mudeli kinnitamise kohta
Kas API mudeli nimi võib tõestada, milline mudel taotlust teenindas?
Ei. Musta kasti API poolt tagastatud mudeli identifikaator on selle API esitatud metaandmed. Model Gate käsitleb seda väitena ja võrdleb käitumist versiooniga administraatori kogutud viitega ja korduvate vaadeldud vastustega.
Millist probleemi mudeli kinnitamine lahendab?
See aitab uurida mudeli asendamist, vaikse marsruudi muutusi ja muid juhtumeid, kus musta kasti tehisintellekti lõpp-punkti käitumine ei pruugi vastata kliendile reklaamitud mudeli identiteedile.
Kas kõrge skoor tõestab krüptograafiliselt mudeli identiteeti?
Ei. Mudeli kontrollimine on käitumuslik tõend, mitte kaugtõendamine. Kohtunik hindab käitumise vastavust, mitte täpset pakkuja identiteeti ja ükski serveri lävi ei muuda tulemust.
Kuidas teadmiste piiri testitakse?
Lubatud administraatorite koguja saab korduvaid vastuseid aegunud pangaküsimustele. Valmis referents hõlmab 16 kuud stabiilse vaadeldava RECALLi mõlemal küljel. Kasutajatest valib ilma uurimiseta 32 salvestatud küsimust ja palub kohtunikul hinnata kõrvalekaldeid mõlemas suunas.
Kas server annab mudeli identiteedi märgi?
Ei. Praegused viitepõhised aruanded säilitavad kohtuniku hinnangu ilma serveri skoorireeglite või kogukonna identiteedi läveta. Ajaloolised meetodid on märgistatud eraldi.
Kas välised API-võtmed on avaldatud?
Ei. Väline mandaat jääb testija brauserisse ja seda ei lisata kunagi avalikku aruannet. Uutes lubatavates täisaruannetes säilitatakse ainult väljavõetud näidistekst, mis on vajalik hindamise auditeeritavaks muutmiseks.
Kontrollige AI lõpp-punkti taga olevat mudelit
Käivitage üks brauseripoolne väljakutse, kontrollige täielikku jälge ja soovi korral avaldage püsiaruanne, et teised saaksid seda kontrollida ja jagada.