Substituce modelu
Za inzerovaným názvem modelu může být uveden levnější nebo jinak odlišný model. Kvalitní odpověď sama o sobě neprokazuje uváděnou identitu.
Identita důvěryhodnosti a modelu rozhraní AI API
Ověřte, zda se rozhraní AI API skutečně chová jako model, který nárokuje
Koncový bod black-box může inzerovat název drahého modelu a zároveň směrovat požadavky na jiný, levnější nebo tiše změněný backend. Model Gate testuje tvrzení behaviorálně s datovanými faktickými sondami, čistými důkazy o omezení stažení, signály konzistence identity a verzovaným nezávislým soudcem.
Jedna externí žádostExterní API klíč zůstává v prohlížečiVeřejné zprávy s trvalým odkazemShoda modelu Benchmark v1.7
Proč ověřovat LLM API?
Název modelu v odpovědi API je nárok, nikoli vzdálené ověření
Zákazníci si často vybírají AI API na základě inzerovaného modelu, ceny a očekávané schopnosti. V black-box API však zákazník normálně nemůže kontrolovat hmotnosti porcí nebo rozhodnutí o směrování. Proxy, prodejce nebo brána může vrátit očekávaný identifikátor modelu, zatímco skutečné chování pochází z jiného backendu. To vytváří praktický problém důvěryhodnosti nahrazování modelu a tichého směrování.
Tiché změny směrování
Koncový bod může změnit poskytovatele, varianty, kvantování nebo směrování, aniž by se změnil řetězec veřejného modelu. Opakované veřejné důkazy pomáhají povrchovému posunu chování.
Neshoda časové hranice znalostí
Model hlásící se k nedávné identitě si může opakovaně vybavit pouze starší stav světa. Dočasné sondy s čistým vyvoláním zviditelní tento nesoulad, aniž by se dohady počítaly jako znalost.
Související výzkum
Akademická práce formalizovala substituci modelu v black-box LLM API a ukazuje, proč je verifikace pouze na výstupu užitečným důkazem, ale ne kryptografickým důkazem. Model Gate proto spíše hlásí konzistenci chování a explicitní omezení, než aby požadoval vzdálené ověření. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Veřejný ověřovací registr
Zveřejnit nový testVyhledávejte publikované testy podle modelu nebo koncového bodu
Každý publikovaný běh má trvalou adresu URL sestavy. Nové běhy úplných zpráv zahrnují extrahovanou odpověď testovaného modelu, hodnocení všech přijatých otázek, zdroje, základní štítky a zdůvodnění soudu potřebné k auditu nebo sdílení výsledku.
8 zveřejněné zprávyFiltry vyhledávání nejsou indexovány; jsou trvalé odkazy na jednotlivé zprávy.
97/100
CONSISTENTgpt-6-astra
Určeno hodnotitelem: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Vybavování faktů
- —
- Aktuálnost
- —
- Halucinace
- —
- Kalibrace
- —
88/100
PLAUSIBLEgpt-6-astra
Určeno hodnotitelem: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Vybavování faktů
- —
- Aktuálnost
- —
- Halucinace
- —
- Kalibrace
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Určeno hodnotitelem: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Vybavování faktů
- 0
- Aktuálnost
- 0
- Halucinace
- 96
- Kalibrace
- 88
38/100
SUSPICIOUSclaude-opus-5
Určeno hodnotitelem: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Vybavování faktů
- 0
- Aktuálnost
- 0
- Halucinace
- 100
- Kalibrace
- 100
93/100
CONSISTENTclaude-opus-4-6
Určeno hodnotitelem: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Vybavování faktů
- 94
- Aktuálnost
- 92
- Halucinace
- 94
- Kalibrace
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Vybavování faktů
- 88
- Aktuálnost
- 88
- Halucinace
- 88
- Kalibrace
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Vybavování faktů
- 83
- Aktuálnost
- 82
- Halucinace
- 83
- Kalibrace
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Vybavování faktů
- 100
- Aktuálnost
- 100
- Halucinace
- 100
- Kalibrace
- 100
Důkazy nezávislé komunity
Koncové body s konzistentním důkazem identity aktuálního benchmarku
Kvalifikace komunity používá jeden nejnovější publikovaný běh v1.7 na účet Model Gate pro stejný koncový bod, nárokovaný model, protokol a hodnotitele během posledních 30 dnů. Skóre modelové shody je důkazem identity; komunitní kvalifikace stále vyžaduje důsledné nezávislé hodnocení identity.
Žádný koncový bod zatím nedosáhl konzistence komunity aktuálního benchmarku.
To není chyba: kvalifikace záměrně vyžaduje více nezávislých běžných srovnávacích účtů. Probíhající důkazy a historické běhy benchmarků jsou uvedeny níže místo prázdné tabulky.
Historický srovnávací důkaz
claude-opus-5 · https://madclaude.cloud/v1/messages2 testy · 1 účtymodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 testy · 1 účtymodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 testy · 1 účtymodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Aktuální kvalifikační pravidlo3+ nezávislých testerů · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% průměrné sebevědomí identity
Metoda
Co testuje Model Gate — a jak
Benchmark je navržen tak, aby měřil chování, které je obtížné předstírat pouze pomocí pole názvu modelu. Záměrně odděluje kvalitu sémantické odpovědi, čisté vyvolání podobné parametrům, zdržení se/kalibraci a konzistenci identity.
- 1
Sestavte datovanou výzvu
Benchmark v1.7 nejprve používá opakovaně použitelnou banku otázek kolem limitu katalogové reference. Pokud banka nemůže pokrýt požadované měsíce, jeden požadavek na průzkum popředí rozhodčího poskytne chybějící výzvu a přidá bance použitelná nová fakta.
- 2
Vyberte otázky založené na výsledcích
Otázky představují datované výsledky spíše než plánovaná nebo předvídatelná fakta. Zdrojová metadata představují kontext auditu a nekritické citační vady neblokují jinak použitelnou otázku a očekávanou odpověď.
- 3
Vytvořte přesně jeden požadavek na testovaný koncový bod
Prohlížeč odešle výzvu k uzavření knihy přímo do externího koncového bodu HTTPS. Externí pověření nikdy neprojde přes Model Gate.
- 4
Každou odpověď sémanticky posuďte
Neprázdná odpověď úspěšného modelu je odeslána rozhodčímu na straně prohlížeče k sémantickému hodnocení, i když je její formátování nedokonalé. Hodnotitel uchovává RECALL / INFERENCE / HÁDEJ / NEZNÁMÝ tam, kde jsou tyto důkazy dostupné.
- 5
Vytvořte hranici čistého stažení
Pouze správné nebo nesprávné RECALL je hraniční důkaz. Správné odhady a závěry zůstávají viditelné, ale nemohou později posouvat hranice znalostí modelu. Pokud jsou důkazy nedostatečné, říká to zpráva místo toho, aby vymýšlela omezení.
- 6
Vyhodnoťte pomocí verzované rubriky rozhodčího
Hlavní skóre Model Match používá rubriku identity rozhodčího, nikoli průměr diagnostiky chování. Oficiální metadata cutoff zůstávají oddělena od Observed cutoff odvozeného z referenčních běhů důvěryhodných administrátorů.
Shoda modelu
Skóre hlavního rozhodčího za konzistenci chování s uváděným referenčním modelem.
Důkaz znalostí
Diagnostika faktické paměti a aktuálnosti znalostí prokázala modelové znalosti.
Odolnost proti halucinacím
Užitečná kvalita chování, ale nepřidává body k identitě modelu.
Kalibrace
Sebedůvěra a poctivost zůstává viditelná, aniž by nafoukla modelový zápas.
Interpretace a omezení
Důkaz chování je užitečný, ale není to kryptografický důkaz
Jak silná zpráva podporuje
- Koncový bod se v tomto benchmarku choval konzistentně s nárokovaným profilem modelu.
- Datovaný vzor stažení je kompatibilní s důkazem referenčního limitu.
- Spolu s faktickým chováním byla hodnocena modelova neúčast, sebedůvěra a sebereportáž.
Co nemůže dokázat
- Přesné hmotnosti, kvantování nebo hardware nelze prokázat pouze z textu.
- Poskytovatel může směrovat různé požadavky na různé backendy.
- Jeden test je důkazem o jednom pozorování, nikoli trvalou certifikací.
- Protože test běží v prohlížeči testera, technicky zdatný tester může upravit kód nebo provoz na straně klienta; veřejné zprávy jsou důkazem chování, nikoli vzdáleným potvrzením.
Proč na veřejném opakování záleží
- Nezávislé účty snižují závislost na jednom testeru.
- Verzované benchmarky udržují materiálně odlišné metodiky oddělené.
- Stálé zprávy umožňují propojení a auditování změn a neshod.
FAQ
Otázky týkající se ověřování modelu AI
Může název modelu API prokázat, který model splnil požadavek?
Ne. Identifikátor modelu vrácený rozhraním API černé skříňky jsou metadata poskytovaná tímto rozhraním API. Model Gate s tím zachází jako s nárokem a porovnává chování s referencí shromážděnou správcem verze s opakovanými pozorovanými odpověďmi.
Jaký problém řeší Ověření modelu?
Pomáhá prozkoumat substituci modelu, tiché změny směrování a další případy, kdy chování koncového bodu AI v černé skříňce nemusí odpovídat identitě modelu inzerované zákazníkovi.
Dokazuje vysoké skóre kryptograficky identitu modelu?
Ne. Ověření modelu je důkazem chování, nikoli atestací na dálku. Soudce posuzuje korespondenci chování, nikoli přesnou identitu poskytovatele a žádný práh serveru nemění výsledek.
Jak se testuje hranice znalostí?
Povolený sběratel správců získává opakované odpovědi na datované bankovní otázky. Hotová reference pokrývá 16 měsíců na obou stranách stabilní pozorované RECALL. Uživatelský test vybere 32 uložených otázek bez průzkumu a požádá soudce, aby posoudil odchylky v obou směrech.
Uděluje server odznak identity modelu?
Ne. Současné zprávy založené na referencích si zachovávají hodnocení poroty bez pravidel skóre serveru nebo prahu identity komunity. Historické metody jsou označeny samostatně.
Jsou publikovány externí klíče API?
Ne. Externí pověření zůstává v prohlížeči testeru a nikdy není zahrnuto do veřejné zprávy. Nové úplné zprávy s možností přihlášení si uchovávají pouze extrahovaný modelový text potřebný k tomu, aby bylo možné hodnocení auditovat.
Zkontrolujte model za koncovým bodem AI
Spusťte jednu výzvu na straně prohlížeče, zkontrolujte kompletní trasování a volitelně publikujte trvalou zprávu, kterou mohou ostatní auditovat a sdílet.