Modellhelyettesítés
A meghirdetett modellnév mögött olcsóbb vagy más módon eltérő modell is szerepelhet. A jó minőségű válasz önmagában nem bizonyítja az állítólagos azonosságot.
AI API bizalom és modell azonosság
Ellenőrizze, hogy egy AI API valóban úgy viselkedik-e, mint az általa igényelt modell
A fekete dobozos végpontok költséges modellnevet hirdethetnek, miközben a kéréseket egy másik, olcsóbb vagy csendesen módosított háttérrendszerre irányítják. A Model Gate viselkedési szempontból teszteli az állítást kelt tényszerű szondákkal, tisztán felidézhető bizonyítékokkal, azonosság-konzisztencia jelekkel és egy független bíró verziójával.
Egy külső kérésA külső API kulcs a böngészőben maradNyilvános permalink jelentésekBenchmark v1.7 modell egyezés
Miért érdemes LLM API-t ellenőrizni?
Az API-válaszban szereplő modellnév igény, nem távoli tanúsítás
Az ügyfelek gyakran a hirdetett modell, az ár és a várható képesség alapján választanak AI API-t. A fekete doboz API-ban azonban az ügyfél általában nem tudja ellenőrizni a tálalási súlyokat vagy az útválasztási döntést. Egy proxy, viszonteladó vagy átjáró visszaadhatja a várt modellazonosítót, miközben a tényleges viselkedés egy másik háttérrendszertől származik. Ez gyakorlati modellhelyettesítési és csendes útválasztási bizalmi problémát hoz létre.
Csendes útválasztás módosul
Egy végpont megváltoztathatja a szolgáltatókat, a változatokat, a kvantálási vagy az útválasztási szabályzatot a nyilvános modellkarakterlánc megváltoztatása nélkül. Az ismételt nyilvános bizonyítékok elősegítik a viselkedés felszínre sodródását.
A tudás időhatára eltér
Egy közelmúltbeli identitást hirdető modell többször is csak a világ egy régebbi állapotára emlékezhet. A tiszta felidézésű időszondák láthatóvá teszik ezt az eltérést anélkül, hogy a találgatásokat tudásnak számítanák.
Kapcsolódó kutatások
A tudományos munka formalizálta a modellhelyettesítést a black-box LLM API-kban, és megmutatja, hogy a csak kimeneti ellenőrzés miért hasznos bizonyíték, de nem kriptográfiai bizonyíték. A Model Gate ezért a viselkedési konzisztenciáról és az explicit korlátozásokról számol be, ahelyett, hogy távoli tanúsítást követelne. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Nyilvános hitelesítési nyilvántartás
Tegyen közzé egy új tesztetKeressen a közzétett tesztekben modell vagy végpont szerint
Minden közzétett futtatáshoz tartozik egy állandó jelentés URL. Az új teljes jelentésfuttatások magukban foglalják a kivont tesztelt modellre adott választ, az összes elfogadott kérdés osztályozását, a forrásokat, az alapcímkéket és az eredmény auditálásához vagy megosztásához szükséges érvelést.
8 közzétett jelentéseketA keresési szűrők nincsenek indexelve; az egyéni jelentés állandó linkjei.
97/100
CONSISTENTgpt-6-astra
Az értékelő által meghatározva: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Tények felidézése
- —
- Aktualitás
- —
- Hallucináció
- —
- Kalibráció
- —
88/100
PLAUSIBLEgpt-6-astra
Az értékelő által meghatározva: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Tények felidézése
- —
- Aktualitás
- —
- Hallucináció
- —
- Kalibráció
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Az értékelő által meghatározva: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Tények felidézése
- 0
- Aktualitás
- 0
- Hallucináció
- 96
- Kalibráció
- 88
38/100
SUSPICIOUSclaude-opus-5
Az értékelő által meghatározva: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Tények felidézése
- 0
- Aktualitás
- 0
- Hallucináció
- 100
- Kalibráció
- 100
93/100
CONSISTENTclaude-opus-4-6
Az értékelő által meghatározva: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Tények felidézése
- 94
- Aktualitás
- 92
- Hallucináció
- 94
- Kalibráció
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Tények felidézése
- 88
- Aktualitás
- 88
- Hallucináció
- 88
- Kalibráció
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Tények felidézése
- 83
- Aktualitás
- 82
- Hallucináció
- 83
- Kalibráció
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Tények felidézése
- 100
- Aktualitás
- 100
- Hallucináció
- 100
- Kalibráció
- 100
Független közösségi bizonyíték
Végpontok konzisztens aktuális benchmark azonossági bizonyítékokkal
A közösségi minősítés Model Gate-fiókonként egy legutóbbi 1.7-es futtatást használ ugyanazon végponthoz, igényelt modellhez, protokollhoz és kiértékelőhöz az elmúlt 30 nap során. A Model Match pontszám a személyazonosság bizonyítéka; A közösségi minősítés továbbra is következetes független identitásvizsgálatot igényel.
Még egyetlen végpont sem érte el a jelenlegi közösségi konzisztenciát.
Ez nem hiba: a minősítés szándékosan több független folyó-benchmark fiókot igényel. Az alábbiakban üres táblázat helyett a folyamatban lévő bizonyítékok és a korábbi benchmark futtatások láthatók.
Történelmi viszonyítási alap bizonyíték
claude-opus-5 · https://madclaude.cloud/v1/messages2 tesztek · 1 számlákmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 tesztek · 1 számlákmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 tesztek · 1 számlákmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Jelenlegi minősítési szabály3+ független tesztelők · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% átlagos identitásbizalom
Módszer
Mit tesztel a Model Gate – és hogyan
A benchmark célja olyan viselkedés mérése, amelyet nehéz meghamisítani a modellnév mezővel. Szándékosan elválasztja egymástól a szemantikai válasz minőségét, a tiszta paraméterszerű felidézést, a tartózkodást/kalibrálást és az azonosság konzisztenciáját.
- 1
Építs fel egy elavult kihívást
A Benchmark v1.7 először az újrafelhasználható kérdésbankot használja a katalógus hivatkozási határértéke körül. Ha a bank nem tudja fedezni a kért hónapokat, egy előtérbírói kutatási kérés pótolja a hiányzó kihívást, és hasznosítható új tényekkel egészíti ki a bankot.
- 2
Válasszon eredményalapú kérdéseket
A kérdések már régebbi eredményeket képviselnek, nem pedig tervezett vagy előre látható tényeket. A forrás metaadatok ellenőrzési kontextus, és a nem kritikus hivatkozási hibák nem akadályozzák meg az egyébként használható kérdést és a várt választ.
- 3
Készítsen pontosan egy tesztelt végpont kérést
A böngésző közvetlenül a külső HTTPS-végpontra küldi a zárt könyves kihívást. A külső hitelesítő adatok soha nem jutnak át a Model Gate-en.
- 4
Minden választ szemantikailag ítéljen meg
A nem üres sikeres modellválaszt a rendszer elküldi a böngészőoldali bírónak szemantikai osztályozás céljából, még akkor is, ha a formázása tökéletlen. Az értékelő megőrzi az EMLÉKEZÉS / KÖVETKEZTETÉS / KITALÁLÁS / ISMERETLEN elemet, ahol ez a bizonyíték rendelkezésre áll.
- 5
Építsen fel egy tiszta felidézési határt
Csak a helyes vagy helytelen EMLÉKEZÉS jelenti a végső bizonyítékot. A helyes találgatások és következtetések láthatóak maradnak, de nem tudják később kitolni a modell tudáshatárát. Ha a bizonyíték nem elegendő, a jelentés ezt mondja, ahelyett, hogy kitalálna egy határt.
- 6
Pontozás verziózott bírói rubrikával
A címsor Model Match pontszám a bírói identitás rubrikát használja, nem pedig a viselkedésdiagnosztika átlagát. A hivatalos levágási metaadatok külön maradnak a megbízható rendszergazdai referenciafuttatásokból származó megfigyelt vágási határértéktől.
Modellegyezés
A főbíró pontszáma az állítólagos referenciamodellel való viselkedés konzisztenciájáért.
Tudás bizonyíték
A tényfelidéző és a tudásfrissítési diagnózis modellismereteket mutatott be.
Hallucinációs rezisztencia
Hasznos viselkedési minőség, de nem ad pontokat a modellazonossághoz.
Kalibráció
A magabiztosság őszintesége látható marad anélkül, hogy felfújná a modell egyezését.
Értelmezés és korlátok
A viselkedési bizonyítékok hasznosak, de nem kriptográfiai bizonyítékok
Mit támaszt alá egy erős jelentés
- A végpont az igényelt modellprofilnak megfelelően viselkedett ezen a viszonyítási alapon.
- A keltezett visszahívási minta kompatibilis a referencia-levágási bizonyítékokkal.
- A modell tartózkodását, magabiztosságát és önbeszámolóját a tényszerű viselkedéssel együtt értékelték.
Amit nem tud bizonyítani
- A pontos adagsúly, kvantálás vagy hardver nem igazolható pusztán szövegből.
- Egy szolgáltató különböző kéréseket irányíthat különböző háttérrendszerekhez.
- Egy teszt egy megfigyelés bizonyítéka, nem pedig állandó tanúsítás.
- Mivel a teszt a tesztelő böngészőjében fut, a műszakilag megfelelő tesztelő módosíthatja az ügyféloldali kódot vagy forgalmat; a nyilvános jelentések viselkedési bizonyítékok, nem távoli tanúsítványok.
Miért számít a nyilvános ismétlés?
- A független fiókok csökkentik az egyetlen tesztelőtől való függést.
- A változatos benchmarkok elkülönítik egymástól a lényegesen eltérő módszereket.
- Az állandó jelentések összekapcsolhatóvá és auditálhatóvá teszik a változtatásokat és a nézeteltéréseket.
FAQ
Kérdések az AI-modell ellenőrzésével kapcsolatban
Egy API-modell neve igazolhatja, hogy melyik modell szolgálta ki a kérést?
Nem. A fekete doboz API által visszaadott modellazonosító az adott API által biztosított metaadat. A Model Gate követelésként kezeli, és összehasonlítja a viselkedést egy verziószámú rendszergazda által gyűjtött referenciával és az ismételt megfigyelt válaszokkal.
Milyen problémát old meg a modellellenőrzés?
Segít kivizsgálni a modellhelyettesítést, a csendes útválasztási változásokat és más olyan eseteket, amikor egy fekete doboz AI végpont viselkedése nem egyezik meg az ügyfélnek hirdetett modellazonosítóval.
A magas pontszám kriptográfiailag bizonyítja a modell azonosságát?
Nem. A modellellenőrzés viselkedési bizonyíték, nem távoli tanúsítás. A bíró a viselkedési megfelelést értékeli, nem a pontos szolgáltató azonosságát, és a szerver küszöbértéke sem változtat az eredményen.
Hogyan tesztelik a tudáskorlátot?
Az engedélyezett rendszergazdai gyűjtő ismétlődő válaszokat kap a banki keltezésű kérdésekre. Egy kész referencia 16 hónapot ölel fel a stabil megfigyelt RECALL mindkét oldalán. A felhasználói teszt 32 mentett kérdést választ ki kutatás nélkül, és arra kéri a bírót, hogy értékelje az eltéréseket mindkét irányban.
Kiad a szerver modell-azonosító jelvényt?
Nem. A jelenlegi referencia-alapú jelentések megtartják a bírói értékelést szerverpontszám-szabályok vagy közösségi identitási küszöb nélkül. A történelmi módszereket külön címkézzük.
Megjelentek a külső API-kulcsok?
Nem. A külső hitelesítő adatok a tesztelő böngészőjében maradnak, és soha nem szerepelnek nyilvános jelentésben. Az új önkéntes teljes jelentések csak az értékelés auditálhatóságához szükséges kivonatolt modellszöveget tartják meg.
Ellenőrizze a modellt egy AI végpont mögött
Futtasson le egy böngészőoldali kihívást, ellenőrizze a teljes nyomkövetést, és opcionálisan tegyen közzé egy állandó jelentést mások számára, hogy ellenőrizzék és megosszák.