Zamenjava modela
Za oglaševanim imenom modela je lahko na voljo cenejši ali kako drugače drugačen model. Kakovosten odgovor sam po sebi ne dokazuje zatrjevane identitete.
AI API zaupanje in identiteta modela
Preverite, ali se AI API dejansko obnaša kot model, za katerega trdi
Končna točka črne skrinjice lahko oglašuje drago ime modela, medtem ko zahteve usmerja na drugo, cenejše ali tiho spremenjeno zaledje. Model Gate preizkuša trditev vedenjsko z datiranimi dejanskimi sondami, dokazi o prekinitvi čistega priklica, signali doslednosti identitete in neodvisnim sodnikom z različicami.
Ena zunanja zahtevaZunanji ključ API ostane v brskalnikuJavna poročila o stalnih povezavahBenchmark v1.7 ujemanje modela
Zakaj preveriti LLM API?
Ime modela v odgovoru API-ja je trditev in ne potrdilo na daljavo
Stranke pogosto izberejo AI API na podlagi oglaševanega modela, cene in pričakovane zmogljivosti. V API-ju črne skrinjice pa stranka običajno ne more pregledati uteži serviranja ali odločitve o usmerjanju. Proxy, preprodajalec ali prehod lahko vrne pričakovani identifikator modela, medtem ko dejansko vedenje prihaja iz drugega ozadja. To ustvarja praktično težavo zaupanja pri zamenjavi modela in tihem usmerjanju.
Tihe spremembe poti
Končna točka lahko spremeni ponudnike, različice, kvantizacijo ali politiko usmerjanja, ne da bi spremenila niz javnega modela. Ponavljajoči se javni dokazi pomagajo razkriti vedenjske spremembe.
Neskladje časovne meje znanja
Model, ki trdi, da ima nedavno identiteto, se lahko vedno znova spominja samo starejšega stanja sveta. Časovne sonde s čistim priklicem naredijo to neujemanje vidno, ne da bi ugibanja šteli kot znanje.
Sorodne raziskave
Akademsko delo je formaliziralo zamenjavo modela v API-jih črne skrinjice LLM in pokazalo, zakaj je preverjanje samo izhoda koristen dokaz, ne pa kriptografski dokaz. Model Gate zato poroča o doslednosti vedenja in izrecnih omejitvah, namesto da zahteva potrdilo na daljavo. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Javni verifikacijski register
Objavite nov testIskanje objavljenih testov po modelu ali končni točki
Vsako objavljeno izvajanje ima trajni URL poročila. Nova izvedba celotnega poročila vključuje izvleček odgovora testiranega modela, ocenjevanje za vsa sprejeta vprašanja, vire, osnovne oznake in utemeljitev sodnika, potrebno za revizijo ali skupno rabo rezultata.
8 objavljena poročilaIskalni filtri niso indeksirani; posamezno poročilo permalinks so.
97/100
CONSISTENTgpt-6-astra
Določil ocenjevalec: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Priklic dejstev
- —
- Aktualnost
- —
- Halucinacije
- —
- Umerjanje
- —
88/100
PLAUSIBLEgpt-6-astra
Določil ocenjevalec: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Priklic dejstev
- —
- Aktualnost
- —
- Halucinacije
- —
- Umerjanje
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Določil ocenjevalec: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Priklic dejstev
- 0
- Aktualnost
- 0
- Halucinacije
- 96
- Umerjanje
- 88
38/100
SUSPICIOUSclaude-opus-5
Določil ocenjevalec: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Priklic dejstev
- 0
- Aktualnost
- 0
- Halucinacije
- 100
- Umerjanje
- 100
93/100
CONSISTENTclaude-opus-4-6
Določil ocenjevalec: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Priklic dejstev
- 94
- Aktualnost
- 92
- Halucinacije
- 94
- Umerjanje
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Priklic dejstev
- 88
- Aktualnost
- 88
- Halucinacije
- 88
- Umerjanje
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Priklic dejstev
- 83
- Aktualnost
- 82
- Halucinacije
- 83
- Umerjanje
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Priklic dejstev
- 100
- Aktualnost
- 100
- Halucinacije
- 100
- Umerjanje
- 100
Neodvisni dokazi skupnosti
Končne točke z doslednimi trenutnimi primerjalnimi dokazi identitete
Kvalifikacija skupnosti uporablja eno najnovejšo objavljeno izvedbo v1.7 na račun Model Gate za isto končno točko, zahtevani model, protokol in ocenjevalca v zadnjih 30 dneh. Rezultat ujemanja modela je dokaz identitete; kvalifikacija skupnosti še vedno zahteva dosledne neodvisne ocene identitete.
Nobena končna točka še ni dosegla trenutne primerjalne konsistentnosti skupnosti.
To ni napaka: kvalifikacija namerno zahteva več neodvisnih tekočih primerjalnih računov. Dokazi v teku in zgodovinski primerjalni preizkusi so prikazani spodaj namesto prazne tabele.
Zgodovinski primerjalni dokazi
claude-opus-5 · https://madclaude.cloud/v1/messages2 testi · 1 računimodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 testi · 1 računimodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 testi · 1 računimodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Trenutna kvalifikacijska pravila3+ neodvisni preizkuševalci · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% povprečno zaupanje identitete
Metoda
Kaj testira Model Gate – in kako
Primerjalno merilo je zasnovano za merjenje vedenja, ki ga je težko ponarediti samo s poljem z imenom modela. Namerno ločuje semantično kakovost odgovora, čisti priklic, podoben parametrom, vzdržanost/kalibracijo in doslednost identitete.
- 1
Zgradite zastarel izziv
Benchmark v1.7 najprej uporablja banko vprašanj za večkratno uporabo okoli referenčne meje kataloga. Če banka ne more pokriti zahtevanih mesecev, ena zahteva za raziskovanje sodnika v ospredju zagotovi manjkajoči izziv in banki doda uporabna nova dejstva.
- 2
Izberite vprašanja, ki temeljijo na rezultatih
Vprašanja predstavljajo zastarele rezultate in ne načrtovana ali predvidljiva dejstva. Izvorni metapodatki so revizijski kontekst in nekritične napake pri navajanju ne blokirajo sicer uporabnega vprašanja in pričakovanega odgovora.
- 3
Naredite natanko eno zahtevo za preizkušeno končno točko
Brskalnik pošlje izziv zaprte knjige neposredno zunanji končni točki HTTPS. Zunanja poverilnica nikoli ne gre skozi Model Gate.
- 4
Vsak odgovor presodite pomensko
Neprazen odziv uspešnega modela se pošlje sodniku na strani brskalnika za semantično ocenjevanje, tudi če je njegovo oblikovanje nepopolno. Ocenjevalec ohrani PRIKLIC / SKLEPANJE / UGETANJE / NEZNANO, če so ti dokazi na voljo.
- 5
Zgradite mejo čistega odpoklica
Samo pravilen ali napačen ODKLIC je dokaz o prekinitvi. Pravilna ugibanja in sklepanja ostanejo vidna, vendar pozneje ne morejo premakniti meje znanja modela. Če dokazi niso zadostni, poročilo tako navaja, namesto da bi si izmislil omejitev.
- 6
Ocenite z verzionirano rubriko sodnika
Ocena ujemanja modela v naslovu uporablja rubriko identitete sodnika in ne povprečja diagnostike vedenja. Uradni metapodatki o mejni vrednosti ostanejo ločeni od opazovane mejne vrednosti, ki izhaja iz referenčnih izvajanj zaupanja vrednega skrbnika.
Ujemanje modela
Glavna ocena za vedenjsko skladnost z zahtevanim referenčnim modelom.
Dokazi o znanju
Diagnoza Factual Recall in Knowledge Recency diagnosticira prikazano znanje o modelu.
Odpornost na halucinacije
Uporabna kakovost vedenja, vendar ne dodaja točk k identiteti modela.
Umerjanje
Zaupanje, poštenost ostane vidna brez napihovanja modela.
Razlaga in omejitve
Vedenjski dokazi so uporabni, vendar niso kriptografski dokazi
Kako močno poročilo podpira
- Končna točka se je na tem merilu uspešnosti obnašala skladno z zahtevanim profilom modela.
- Datirani vzorec odpoklica je združljiv z referenčnimi mejnimi dokazi.
- Vzdržanost, samozavest in samoocenjevanje modela so bili ovrednoteni skupaj z dejanskim vedenjem.
Česar ne more dokazati
- Natančnih uteži serviranja, kvantizacije ali strojne opreme ni mogoče dokazati zgolj z besedilom.
- Ponudnik lahko različne zahteve usmeri v različna zaledja.
- En test je dokaz o enem opazovanju, ne trajno potrdilo.
- Ker se test izvaja v brskalniku preizkuševalca, lahko tehnično sposoben preizkuševalec spremeni kodo ali promet na strani odjemalca; javna poročila so vedenjski dokaz, ne potrdilo na daljavo.
Zakaj je javno ponavljanje pomembno
- Neodvisni računi zmanjšujejo odvisnost od enega preizkuševalca.
- Primerjalna merila z različicami ohranjajo bistveno različne metodologije ločene.
- S stalnimi poročili so spremembe in nesoglasja povezljivi in revizijski.
FAQ
Vprašanja o preverjanju modela AI
Ali lahko ime modela API dokaže, kateri model je služil zahtevi?
Ne. Identifikator modela, ki ga vrne API črne skrinjice, je metapodatek, ki ga zagotovi ta API. Model Gate ga obravnava kot zahtevek in primerja vedenje z verzionirano referenco, ki jo zbere skrbnik, s ponavljajočimi se opazovanimi odgovori.
Kakšno težavo obravnava preverjanje modela?
Pomaga raziskati zamenjavo modela, tihe spremembe usmerjanja in druge primere, ko se vedenje končne točke umetne inteligence črne skrinjice morda ne ujema z identiteto modela, oglaševanega stranki.
Ali visoka ocena kriptografsko dokazuje identiteto modela?
Ne. Preverjanje modela je vedenjski dokaz, ne potrditev na daljavo. Sodnik oceni vedenjsko korespondenco, ne natančne identitete ponudnika, in noben prag strežnika ne spremeni rezultata.
Kako se preverja meja znanja?
Omogočen skrbniški zbiralnik pridobi ponavljajoče se odgovore na zastarela bančna vprašanja. Pripravljena referenca obsega 16 mesecev na obeh straneh stabilnega opazovanega ODPOKLICA. Uporabniški test izbere 32 shranjenih vprašanj brez raziskav in prosi sodnika, da oceni odstopanja v obe smeri.
Ali strežnik podeljuje značko identitete modela?
Ne. Trenutna poročila, ki temeljijo na referencah, ohranjajo oceno sodnika brez pravil o točkovanju strežnika ali praga identitete skupnosti. Historične metode so označene posebej.
Ali so zunanji ključi API objavljeni?
Ne. Zunanja poverilnica ostane v brskalniku testerja in ni nikoli vključena v javno poročilo. Nova popolna poročila o izbiri obdržijo samo izvlečeno besedilo modela, ki je potrebno za revizijo ocene.
Preverite model za končno točko AI
Zaženite en izziv na strani brskalnika, preglejte celotno sled in po želji objavite trajno poročilo, ki ga lahko drugi pregledajo in delijo.