Zamjena modela
Jeftiniji ili na drugi način drugačiji model može se poslužiti iza oglašenog naziva modela. Odgovor visoke kvalitete sam po sebi ne dokazuje navedeni identitet.
AI API povjerenje i identitet modela
Provjerite ponaša li se AI API doista kao model za koji tvrdi
Krajnja točka crne kutije može reklamirati naziv skupog modela dok usmjerava zahtjeve na drugu, jeftiniju ili tiho promijenjenu pozadinu. Model Gate bihevioralno testira tvrdnju s datiranim činjeničnim ispitivanjima, dokazima o prekidu čistog prisjećanja, signalima dosljednosti identiteta i neovisnim sucem s verzijama.
Jedan vanjski zahtjevVanjski API ključ ostaje u preglednikuJavna izvješća o stalnim vezamaPodudaranje modela Benchmark v1.7
Zašto verificirati LLM API?
Naziv modela u API odgovoru je zahtjev, a ne daljinska potvrda
Korisnici često odabiru AI API na temelju oglašenog modela, cijene i očekivanih mogućnosti. U API-ju crne kutije, međutim, korisnik obično ne može provjeriti težinu posluživanja ili odluku o usmjeravanju. Proxy, prodavač ili pristupnik mogu vratiti očekivani identifikator modela dok stvarno ponašanje dolazi iz druge pozadine. To stvara praktičan problem povjerenja zamjene modela i tihog usmjeravanja.
Tihe promjene rutiranja
Krajnja točka može promijeniti pružatelje, varijante, kvantizaciju ili politiku usmjeravanja bez mijenjanja niza javnog modela. Ponovljeni javni dokazi pomažu isplivati na površinu promjene ponašanja.
Neslaganje vremenske granice znanja
Model koji tvrdi da ima nedavni identitet može se više puta prisjećati samo starijeg stanja svijeta. Vremenske sonde čistog prisjećanja čine tu neusklađenost vidljivom bez računanja nagađanja kao znanja.
Povezana istraživanja
Akademski rad je formalizirao zamjenu modela u API-jima crne kutije za LLM i pokazuje zašto je provjera samo izlaza koristan dokaz, ali ne i kriptografski dokaz. Model Gate stoga izvješćuje o dosljednosti ponašanja i eksplicitnim ograničenjima, umjesto da zahtijeva daljinsko ovjeravanje. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Javni verifikacijski registar
Objavite novi testPretražujte objavljene testove po modelu ili krajnjoj točki
Svako objavljeno izvođenje ima stalni URL izvješća. Nova cjelovita izvješća uključuju izdvojeni odgovor testiranog modela, ocjenjivanje za sva prihvaćena pitanja, izvore, osnovne oznake i obrazloženje sudaca potrebno za reviziju ili dijeljenje rezultata.
8 objavljena izvješćaFiltri pretraživanja nisu indeksirani; individualno izvješće trajne veze su.
97/100
CONSISTENTgpt-6-astra
Odredio ocjenjivač: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Prisjećanje činjenica
- —
- Aktualnost
- —
- Halucinacija
- —
- Kalibriranje
- —
88/100
PLAUSIBLEgpt-6-astra
Odredio ocjenjivač: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Prisjećanje činjenica
- —
- Aktualnost
- —
- Halucinacija
- —
- Kalibriranje
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Odredio ocjenjivač: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Prisjećanje činjenica
- 0
- Aktualnost
- 0
- Halucinacija
- 96
- Kalibriranje
- 88
38/100
SUSPICIOUSclaude-opus-5
Odredio ocjenjivač: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Prisjećanje činjenica
- 0
- Aktualnost
- 0
- Halucinacija
- 100
- Kalibriranje
- 100
93/100
CONSISTENTclaude-opus-4-6
Odredio ocjenjivač: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Prisjećanje činjenica
- 94
- Aktualnost
- 92
- Halucinacija
- 94
- Kalibriranje
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Prisjećanje činjenica
- 88
- Aktualnost
- 88
- Halucinacija
- 88
- Kalibriranje
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Prisjećanje činjenica
- 83
- Aktualnost
- 82
- Halucinacija
- 83
- Kalibriranje
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Prisjećanje činjenica
- 100
- Aktualnost
- 100
- Halucinacija
- 100
- Kalibriranje
- 100
Neovisni dokazi zajednice
Krajnje točke s dosljednim dokazom identiteta trenutne referentne vrijednosti
Kvalifikacija zajednice koristi jedno posljednje objavljeno pokretanje v1.7 po računu Model Gate za istu krajnju točku, traženi model, protokol i evaluatora tijekom zadnjih 30 dana. Rezultat podudaranja modela je dokaz identiteta; kvalifikacija zajednice i dalje zahtijeva dosljedne neovisne procjene identiteta.
Niti jedna krajnja točka još nije dosegla dosljednost trenutne referentne vrijednosti zajednice.
To nije pogreška: kvalifikacija namjerno zahtijeva višestruke neovisne račune tekuće referentne vrijednosti. Dokazi u tijeku i povijesna usporedna ispitivanja prikazani su ispod umjesto prazne tablice.
Povijesni referentni dokazi
claude-opus-5 · https://madclaude.cloud/v1/messages2 testovi · 1 računimodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 testovi · 1 računimodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 testovi · 1 računimodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Trenutačno pravilo kvalifikacije3+ nezavisni ispitivači · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% prosječno pouzdanje identiteta
metoda
Što Model Gate testira — i kako
Referentna vrijednost osmišljena je za mjerenje ponašanja koje je teško lažirati samo s poljem naziva modela. Namjerno odvaja semantičku kvalitetu odgovora, čisto prisjećanje poput parametra, suzdržavanje/kalibraciju i dosljednost identiteta.
- 1
Izgradite zastarjeli izazov
Benchmark v1.7 prvo koristi banku pitanja za višekratnu upotrebu oko granične vrijednosti referenci kataloga. Ako banka ne može pokriti zatražene mjesece, jedan zahtjev za istraživanje suca u prvom planu pruža izazov koji nedostaje i banci dodaje upotrebljive nove činjenice.
- 2
Odaberite pitanja temeljena na ishodu
Pitanja predstavljaju zastarjele ishode, a ne planirane ili predvidljive činjenice. Izvorni metapodaci su revizijski kontekst i nekritične greške u citatima ne blokiraju inače upotrebljivo pitanje i očekivani odgovor.
- 3
Podnesite točno jedan zahtjev za testiranu krajnju točku
Preglednik šalje zahtjev zatvorene knjige izravno vanjskoj HTTPS krajnjoj točki. Vanjska vjerodajnica nikada ne prolazi kroz Model Gate.
- 4
Svaki odgovor procijenite semantički
Neprazan uspješan odgovor modela šalje se sucu na strani preglednika za semantičko ocjenjivanje čak i kada je njegovo oblikovanje nesavršeno. Procjenitelj čuva PRISJEĆANJE / ZAKLJUČAK / NAGAĐANJE / NEPOZNATO tamo gdje je taj dokaz dostupan.
- 5
Izgradite granicu čistog prisjećanja
Samo ispravan ili netočan RECALL je dokaz prekida. Točna nagađanja i zaključci ostaju vidljivi, ali kasnije ne mogu pomaknuti granicu znanja modela. Ako su dokazi nedostatni, izvješće to kaže umjesto da izmisli granicu.
- 6
Ocijenite s verziranom rubrikom sudaca
Naslovna ocjena Model Match koristi rubriku identiteta suca, a ne prosjek dijagnostike ponašanja. Službeni metapodaci o graničnoj vrijednosti ostaju odvojeni od promatrane granične vrijednosti izvedene iz referentnih pokreta pouzdanog administratora.
Podudaranje modela
Glavna ocjena za dosljednost ponašanja s navedenim referentnim modelom.
Dokazi znanja
Prisjećanje činjenica i nedavnost znanja dijagnosticiraju demonstrirano znanje modela.
Otpornost na halucinacije
Korisna kvaliteta ponašanja, ali ne dodaje bodove identitetu modela.
Kalibriranje
Povjerenje i iskrenost ostaju vidljivi bez napuhavanja podudaranja modela.
Tumačenje i ograničenja
Dokazi ponašanja su korisni, ali nisu kriptografski dokazi
Što snažno izvješće podržava
- Krajnja točka ponašala se dosljedno s navedenim profilom modela na ovoj referentnoj točki.
- Datirani uzorak prisjećanja kompatibilan je s referentnim dokazom granične vrijednosti.
- Uzdržavanje, samopouzdanje i samoizvještaj modela procijenjeni su zajedno s činjeničnim ponašanjem.
Što ne može dokazati
- Točne težine posluživanja, kvantizacija ili hardver ne mogu se dokazati samo iz teksta.
- Davatelj može usmjeriti različite zahtjeve na različite pozadine.
- Jedan test je dokaz o jednom opažanju, a ne trajna potvrda.
- Budući da se test izvodi u pregledniku testera, tehnički sposoban tester može modificirati kod ili promet na strani klijenta; javna izvješća su dokaz ponašanja, a ne potvrda na daljinu.
Zašto je važno javno ponavljanje
- Neovisni računi smanjuju oslanjanje na jednog ispitivača.
- Verzione referentne vrijednosti drže materijalno različite metodologije odvojene.
- Stalna izvješća čine promjene i neslaganja povezivim i revizijskim.
FAQ
Pitanja o AI provjeri modela
Može li naziv API modela dokazati koji je model poslužio zahtjevu?
Ne. Identifikator modela koji vraća API crne kutije su metapodaci koje daje taj API. Model Gate to tretira kao zahtjev i uspoređuje ponašanje s verzioniranom referencom koju je prikupio administrator s ponovljenim promatranim odgovorima.
Koji problem rješava provjera modela?
Pomaže u istraživanju zamjene modela, tihih promjena usmjeravanja i drugih slučajeva u kojima se ponašanje krajnje točke AI crne kutije možda ne podudara s identitetom modela koji se reklamira kupcu.
Dokazuje li visoka ocjena kriptografski identitet modela?
Ne. Provjera modela je dokaz ponašanja, a ne daljinska potvrda. Sudac procjenjuje korespondenciju u ponašanju, a ne točan identitet pružatelja usluga, a nijedan prag poslužitelja ne mijenja rezultat.
Kako se testira granica znanja?
Omogućeni administrator prikupljač dobiva ponovljene odgovore na datirana bankovna pitanja. Spremna referenca obuhvaća 16 mjeseci s obje strane stabilnog promatranog RECALL-a. Korisnički test odabire 32 spremljena pitanja bez istraživanja i traži od suca da procijeni odstupanja u oba smjera.
Dodjeljuje li poslužitelj značku identiteta modela?
Ne. Trenutačna izvješća temeljena na referencama zadržavaju ocjenu suca bez pravila o bodovanju poslužitelja ili praga identiteta zajednice. Povijesne metode su posebno označene.
Jesu li vanjski API ključevi objavljeni?
Ne. Vanjska vjerodajnica ostaje u pregledniku testera i nikada se ne uključuje u javno izvješće. Nova opt-in potpuna izvješća zadržavaju samo izdvojeni tekst modela koji je potreban da bi se procjena mogla revidirati.
Provjerite model iza AI krajnje točke
Pokrenite jedan izazov na strani preglednika, pregledajte kompletno praćenje i po izboru objavite trajno izvješće koje drugi mogu revidirati i dijeliti.