Modellbyte
En billigare eller på annat sätt annan modell kan serveras bakom det annonserade modellnamnet. Ett högkvalitativt svar i sig bevisar inte den påstådda identiteten.
AI API-förtroende och modellidentitet
Verifiera om ett AI-API faktiskt beter sig som den modell den hävdar
En black-box-slutpunkt kan annonsera ett dyrt modellnamn samtidigt som man dirigerar förfrågningar till en annan, billigare eller tyst ändrad backend. Model Gate testar påståendet beteendemässigt med daterade faktaundersökningar, rena återkallelsebevis, identitetskonsistenssignaler och en versionerad oberoende domare.
En extern begäranExtern API-nyckel stannar i webbläsarenOffentliga permalänkrapporterBenchmark v1.7 modellmatchning
Varför verifiera ett LLM API?
Modellnamnet i ett API-svar är ett anspråk, inte fjärrbekräftelse
Kunder väljer ofta ett AI API baserat på den annonserade modellen, priset och förväntad kapacitet. I ett black-box-API kan kunden normalt inte inspektera serveringsvikterna eller routingbeslutet. En proxy, återförsäljare eller gateway kan returnera den förväntade modellidentifieraren medan det faktiska beteendet kommer från en annan backend. Det skapar ett praktiskt förtroendeproblem med modellsubstitution och tyst routing.
Tysta ruttändringar
En slutpunkt kan ändra leverantörer, varianter, kvantisering eller routingpolicy utan att ändra den offentliga modellsträngen. Upprepade offentliga bevis hjälper till att yttra beteendeförändringar.
Avvikande kunskapsgräns
En modell som hävdar en ny identitet kan upprepade gånger bara minnas en äldre tillstånd i världen. Rent återkallande tidssonder gör den oöverensstämmelsen synlig utan att räkna gissningar som kunskap.
Relaterad forskning
Akademiskt arbete har formaliserat modellsubstitution i black-box LLM API:er och visar varför verifiering med endast output är användbara bevis men inte kryptografiska bevis. Model Gate rapporterar därför beteendekonsistens och explicita begränsningar snarare än att göra anspråk på fjärrbekräftelse. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Offentligt verifieringsregister
Publicera ett nytt testSök publicerade tester efter modell eller slutpunkt
Varje publicerad körning har en permanent rapport-URL. Nya fullständiga rapportkörningar inkluderar det extraherade svaret från den testade modellen, betygsättning för alla antagna frågor, källor, grundetiketter och bedömningsresonemang som behövs för att granska eller dela resultatet.
8 publicerade rapporterSökfilter indexeras inte; individuella rapportpermalänkar är.
97/100
CONSISTENTgpt-6-astra
Fastställt av bedömaren: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Återgivning av fakta
- —
- Aktualitet
- —
- Hallucination
- —
- Kalibrering
- —
88/100
PLAUSIBLEgpt-6-astra
Fastställt av bedömaren: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Återgivning av fakta
- —
- Aktualitet
- —
- Hallucination
- —
- Kalibrering
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Fastställt av bedömaren: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Återgivning av fakta
- 0
- Aktualitet
- 0
- Hallucination
- 96
- Kalibrering
- 88
38/100
SUSPICIOUSclaude-opus-5
Fastställt av bedömaren: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Återgivning av fakta
- 0
- Aktualitet
- 0
- Hallucination
- 100
- Kalibrering
- 100
93/100
CONSISTENTclaude-opus-4-6
Fastställt av bedömaren: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Återgivning av fakta
- 94
- Aktualitet
- 92
- Hallucination
- 94
- Kalibrering
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Återgivning av fakta
- 88
- Aktualitet
- 88
- Hallucination
- 88
- Kalibrering
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Återgivning av fakta
- 83
- Aktualitet
- 82
- Hallucination
- 83
- Kalibrering
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Återgivning av fakta
- 100
- Aktualitet
- 100
- Hallucination
- 100
- Kalibrering
- 100
Oberoende gemenskapsbevis
Slutpunkter med konsekventa identitetsbevis för nuvarande benchmark
Communitykvalificering använder en senast publicerad version 1.7 per Model Gate-konto för samma slutpunkt, påstådda modell, protokoll och utvärderare under de senaste 30 dagarna. Model Match poäng är identitetsbevis; Samhällskvalifikation kräver fortfarande konsekventa oberoende identitetsbedömningar.
Ingen slutpunkt har nått den nuvarande standarden för communityn ännu.
Det är inte ett fel: kvalificering kräver avsiktligt flera oberoende nuvarande benchmarkkonton. Pågående bevis och historiska benchmarkkörningar visas nedan istället för en tom tabell.
Historiskt riktmärke
claude-opus-5 · https://madclaude.cloud/v1/messages2 tester · 1 kontonmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 tester · 1 kontonmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 tester · 1 kontonmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Nuvarande kvalificeringsregel3+ oberoende testare · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% genomsnittligt identitetsförtroende
Metod
Vilka Model Gate testar – och hur
Riktmärket är utformat för att mäta beteende som är svårt att fejka med enbart ett modellnamnfält. Den separerar medvetet semantisk svarskvalitet, ren parameterliknande återkallelse, avhållsamhet/kalibrering och identitetskonsistens.
- 1
Bygg en daterad utmaning
Benchmark v1.7 använder först den återanvändbara frågebanken runt katalogreferens cutoff. Om banken inte kan täcka de begärda månaderna, tillhandahåller en förgrundsdomares forskningsbegäran den saknade utmaningen och lägger till användbara nya fakta till banken.
- 2
Välj resultatbaserade frågor
Frågor representerar daterade resultat snarare än schemalagda eller förutsägbara fakta. Källmetadata är granskningskontext och icke-kritiska citeringsdefekter blockerar inte en annars användbar fråga och förväntat svar.
- 3
Gör exakt en begäran om testad slutpunkt
Webbläsaren skickar utmaningen med stängd bok direkt till den externa HTTPS-slutpunkten. Den externa referensen passerar aldrig genom Model Gate.
- 4
Bedöm varje svar semantiskt
Ett icke-tomt framgångsrikt modellsvar skickas till webbläsarens domare för semantisk gradering även när formateringen är ofullkomlig. Utvärderaren bevarar RECALL / INFERENCE / GUESS / OKÄND där bevisen är tillgänglig.
- 5
Bygg en ren återkallelsegräns
Endast korrekt eller fel RECALL är cutoff-bevis. Korrekta gissningar och slutsatser förblir synliga men kan inte tänja på modellens kunskapsgräns senare. Om bevisen är otillräckliga säger rapporten det istället för att uppfinna en cutoff.
- 6
Poäng med en versionerad domare
Rubriken Model Match-poäng använder rubriken för domarens identitet, inte ett genomsnitt av beteendediagnostik. Officiell cutoff-metadata förblir skild från observerad cutoff som härrör från betrodda administratörsreferenskörningar.
Modellöverensstämmelse
Headline domare poäng för beteendemässig överensstämmelse med den påstådda referensmodellen.
Kunskapsbevis
Factual Recall och Knowledge Recency-diagnos visade modellkunskap.
Hallucinationsmotstånd
Användbar beteendekvalitet, men det ger inga poäng till modellens identitet.
Kalibrering
Självförtroende ärlighet förblir synlig utan att blåsa upp modellmatchningen.
Tolkning och begränsningar
Beteendebevis är användbart, men det är inte kryptografiskt bevis
Vad en stark rapport stödjer
- Slutpunkten uppförde sig konsekvent med den påstådda modellprofilen på detta riktmärke.
- Det daterade återkallelsemönstret är kompatibelt med referensavgränsningsbeviset.
- Modellens avhållsamhet, självförtroende och självrapportering utvärderades tillsammans med faktabeteende.
Vad den inte kan bevisa
- Exakt serveringsvikter, kvantisering eller hårdvara kan inte bevisas enbart med hjälp av text.
- En leverantör kan dirigera olika förfrågningar till olika backends.
- Ett test är bevis på en observation, inte en permanent certifiering.
- Eftersom testet körs i testarens webbläsare kan en tekniskt kapabel testare ändra kod eller trafik på klientsidan; Offentliga rapporter är beteendebevis, inte fjärrbevis.
Varför offentlig upprepning är viktig
- Oberoende konton minskar beroendet av en testare.
- Versionerade riktmärken håller väsentligt olika metoder åtskilda.
- Permanenta rapporter gör ändringar och meningsskiljaktigheter länkbara och granskningsbara.
FAQ
Frågor om AI-modellverifiering
Kan ett API-modellnamn bevisa vilken modell som levererade begäran?
Nej. En modellidentifierare som returneras av ett black-box API är metadata som tillhandahålls av det API. Model Gate behandlar det som ett påstående och jämför beteende mot en versionerad administratörsinsamlad referens med upprepade observerade svar.
Vilket problem åtgärdar modellverifiering?
Det hjälper till att undersöka modellsubstitution, tysta routingändringar och andra fall där beteendet hos en black-box AI-slutpunkt kanske inte matchar modellidentiteten som annonseras för kunden.
Bevisar ett högt betyg kryptografiskt modellens identitet?
Nej. Modellverifiering är beteendebevis, inte fjärrbevis. Domaren bedömer beteendekorrespondens, inte exakt leverantörsidentitet, och ingen servertröskel ändrar resultatet.
Hur testas kunskapsgränsen?
En aktiverad administratörssamlare får upprepade svar på daterade bankfrågor. En färdig referens sträcker sig över 16 månader på båda sidor av stabil observerad RECALL. Ett användartest väljer ut 32 sparade frågor utan research och ber domaren att bedöma avvikelser åt båda hållen.
Tilldelar servern ett modellidentitetsmärke?
Nej. Aktuella referensbaserade rapporter behåller domarbedömningen utan serverpoängregler eller en tröskel för community-identitet. Historiska metoder märks separat.
Är externa API-nycklar publicerade?
Nej. Den externa referensen stannar i testarens webbläsare och ingår aldrig i en offentlig rapport. Nya fullständiga opt-in-rapporter behåller endast den extraherade modelltexten som behövs för att göra bedömningen granskbar.
Kontrollera modellen bakom en AI-ändpunkt
Kör en utmaning på webbläsaren, inspektera hela spåret och publicera eventuellt en permanent rapport som andra kan granska och dela.