Model substitution
En billigere eller på anden måde anderledes model kan blive serveret bag det annoncerede modelnavn. Et svar af høj kvalitet i sig selv beviser ikke den påståede identitet.
AI API-tillid og modelidentitet
Bekræft, om en AI API faktisk opfører sig som den model, den hævder
Et black-box-slutpunkt kan annoncere for et dyrt modelnavn, mens det dirigerer anmodninger til en anden, billigere eller lydløst ændret backend. Model Gate tester påstanden adfærdsmæssigt med daterede faktuelle sonder, ren-recall cutoff-beviser, identitetskonsistenssignaler og en versioneret uafhængig dommer.
Én ekstern anmodningEkstern API-nøgle forbliver i browserenOffentlige permalink rapporterBenchmark v1.7 model match
Hvorfor verificere en LLM API?
Modelnavnet i et API-svar er et krav, ikke fjernattest
Kunder vælger ofte en AI API baseret på den annoncerede model, pris og forventede kapacitet. I en black-box API kan kunden dog normalt ikke inspicere serveringsvægtene eller routingbeslutningen. En proxy, forhandler eller gateway kan returnere den forventede model-id, mens den faktiske adfærd kommer fra en anden backend. Det skaber et praktisk model-substitution og silent-routing-tillidsproblem.
Tavse routingændringer
Et slutpunkt kan ændre udbydere, varianter, kvantisering eller routingpolitik uden at ændre den offentlige modelstreng. Gentagne offentlige beviser hjælper med at vise adfærdsmæssig drift.
Uoverensstemmelse i vidensgrænse
En model, der hævder en nylig identitet, kan gentagne gange kun huske en ældre tilstand i verden. Rene-recall-tidslige sonder gør denne uoverensstemmelse synlig uden at tælle gæt som viden.
Relateret forskning
Akademisk arbejde har formaliseret modelsubstitution i black-box LLM API'er og viser, hvorfor kun output-verifikation er nyttigt bevis, men ikke kryptografisk bevis. Model Gate rapporterer derfor adfærdsmæssig konsistens og eksplicitte begrænsninger i stedet for at hævde fjernattestering. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Offentligt verifikationsregister
Udgiv en ny testSøg publicerede tests efter model eller slutpunkt
Hver publiceret kørsel har en permanent rapport-URL. Nye kørsler af fuld rapport inkluderer det udtrukne svar fra den testede model, karaktergivning for alle indrømmede spørgsmål, kilder, basisetiketter og bedømmelsesgrunde, der er nødvendige for at revidere eller dele resultatet.
8 offentliggjorte rapporterSøgefiltre indekseres ikke; individuelle rapport permalinks er.
97/100
CONSISTENTgpt-6-astra
Fastlagt af bedømmeren: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Genkaldelse af fakta
- —
- Aktualitet
- —
- Hallucination
- —
- Kalibrering
- —
88/100
PLAUSIBLEgpt-6-astra
Fastlagt af bedømmeren: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Genkaldelse af fakta
- —
- Aktualitet
- —
- Hallucination
- —
- Kalibrering
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Fastlagt af bedømmeren: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Genkaldelse af fakta
- 0
- Aktualitet
- 0
- Hallucination
- 96
- Kalibrering
- 88
38/100
SUSPICIOUSclaude-opus-5
Fastlagt af bedømmeren: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Genkaldelse af fakta
- 0
- Aktualitet
- 0
- Hallucination
- 100
- Kalibrering
- 100
93/100
CONSISTENTclaude-opus-4-6
Fastlagt af bedømmeren: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Genkaldelse af fakta
- 94
- Aktualitet
- 92
- Hallucination
- 94
- Kalibrering
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Genkaldelse af fakta
- 88
- Aktualitet
- 88
- Hallucination
- 88
- Kalibrering
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Genkaldelse af fakta
- 83
- Aktualitet
- 82
- Hallucination
- 83
- Kalibrering
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Genkaldelse af fakta
- 100
- Aktualitet
- 100
- Hallucination
- 100
- Kalibrering
- 100
Uafhængig fællesskabsbevis
Endepunkter med konsistent aktuelt benchmark identitetsbevis
Fællesskabskvalifikation bruger en senest offentliggjort v1.7-kørsel pr. Model Gate-konto for det samme slutpunkt, påståede model, protokol og evaluator i løbet af de sidste 30 dage. Model Match-score er identitetsbevis; samfundskvalifikation kræver stadig konsekvente uafhængige identitetsvurderinger.
Intet endepunkt har nået den nuværende benchmark-fællesskabskonsistens endnu.
Det er ikke en fejl: kvalificering kræver bevidst flere uafhængige nuværende benchmark-konti. Igangværende beviser og historiske benchmarkkørsler er vist nedenfor i stedet for en tom tabel.
Historisk benchmark bevis
claude-opus-5 · https://madclaude.cloud/v1/messages2 tests · 1 regnskabermodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 tests · 1 regnskabermodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 tests · 1 regnskabermodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Gældende kvalifikationsregel3+ uafhængige testere · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% gennemsnitlig identitetssikkerhed
Metode
Hvilke Model Gate tester - og hvordan
Benchmark er designet til at måle adfærd, der er svær at forfalske med et modelnavnfelt alene. Den adskiller bevidst semantisk svarkvalitet, ren parameterlignende genkaldelse, afholdenhed/kalibrering og identitetskonsistens.
- 1
Byg en dateret udfordring
Benchmark v1.7 bruger først den genanvendelige spørgsmålsbank omkring katalogreferenceafskæringen. Hvis banken ikke kan dække de anmodede måneder, giver en forgrundsdommerforskningsanmodning den manglende udfordring og tilføjer brugbare nye fakta til banken.
- 2
Vælg resultatbaserede spørgsmål
Spørgsmål repræsenterer daterede resultater snarere end planlagte eller forudsigelige fakta. Kildemetadata er revisionskontekst, og ikke-kritiske citationsfejl blokerer ikke for et ellers brugbart spørgsmål og forventet svar.
- 3
Lav præcis én anmodning om testet slutpunkt
Browseren sender udfordringen med lukket bog direkte til det eksterne HTTPS-slutpunkt. Den eksterne legitimation passerer aldrig gennem Model Gate.
- 4
Vurder hvert svar semantisk
Et ikke-tomt vellykket modelsvar sendes til browserens dommer til semantisk bedømmelse, selv når formateringen er ufuldkommen. Evaluatoren bevarer RECALL / INFERENCE / GUESS / UKENDT, hvor dette bevis er tilgængeligt.
- 5
Byg en ren genkaldelsesgrænse
Kun korrekt eller forkert RECALL er afskæringsbevis. Korrekte gæt og slutninger forbliver synlige, men kan ikke flytte modellens vidensgrænse senere. Hvis beviserne er utilstrækkelige, siger rapporten det i stedet for at opfinde en cutoff.
- 6
Score med en versioneret dommerrubrik
Overskriften Model Match-score bruger dommeridentitetsrubrikken, ikke et gennemsnit af adfærdsdiagnostik. Officielle cutoff-metadata forbliver adskilt fra Observed cutoff afledt fra betroede administrator-referencekørsler.
Modeloverensstemmelse
Overskriftsdommerscore for adfærdsmæssig overensstemmelse med den påståede referencemodel.
Viden beviser
Factual Recall og Knowledge Recency diagnose demonstrerede modelkendskab.
Hallucinationsmodstand
Nyttig adfærdskvalitet, men det tilføjer ikke point til modellens identitet.
Kalibrering
Tillid, ærlighed forbliver synlig uden at puste modelmatchen op.
Fortolkning og begrænsninger
Adfærdsbevis er nyttigt, men det er ikke kryptografisk bevis
Hvad en stærk rapport understøtter
- Slutpunktet opførte sig i overensstemmelse med den påståede modelprofil på dette benchmark.
- Det daterede tilbagekaldelsesmønster er kompatibelt med reference-cutoff-beviset.
- Modellens afholdenhed, tillid og selvrapportering blev evalueret sammen med faktuel adfærd.
Hvad den ikke kan bevise
- Præcise serveringsvægte, kvantisering eller hardware kan ikke bevises ud fra tekst alene.
- En udbyder kan dirigere forskellige anmodninger til forskellige backends.
- Én test er bevis for én observation, ikke en permanent certificering.
- Fordi testen kører i testerens browser, kan en teknisk dygtig tester ændre kode eller trafik på klientsiden; offentlige rapporter er adfærdsbeviser, ikke fjernattestering.
Hvorfor offentlig gentagelse betyder noget
- Uafhængige konti reducerer afhængigheden af én tester.
- Versionerede benchmarks holder væsentligt forskellige metoder adskilt.
- Permanente rapporter gør ændringer og uenigheder, der kan sammenkædes og revideres.
FAQ
Spørgsmål om AI-modelverifikation
Kan et API-modelnavn bevise, hvilken model der serverede anmodningen?
Nej. En model-id, der returneres af en black-box API, er metadata leveret af denne API. Model Gate behandler det som en påstand og sammenligner adfærd med en versioneret administrator-samlet reference med gentagne observerede svar.
Hvilket problem løser modelbekræftelse?
Det hjælper med at undersøge modelsubstitution, tavse routingændringer og andre tilfælde, hvor adfærden af et black-box AI-slutpunkt muligvis ikke matcher den modelidentitet, der annonceres for kunden.
Beviser en høj score kryptografisk modellens identitet?
Nej. Modelverifikation er adfærdsbevis, ikke fjernattestering. Dommeren vurderer adfærdskorrespondance, ikke nøjagtig udbyderidentitet, og ingen servertærskel ændrer resultatet.
Hvordan testes vidensgrænsen?
En aktiveret administratorsamler får gentagne svar på daterede bankspørgsmål. En klar reference spænder over 16 måneder på begge sider af stabil observeret RECALL. En brugertest udvælger 32 gemte spørgsmål uden research og beder dommeren vurdere afvigelser i begge retninger.
Tildeler serveren et modelidentitetsmærke?
Nej. Aktuelle referencebaserede rapporter bevarer dommervurderingen uden serverscoreregler eller en tærskel for fællesskabsidentitet. Historiske metoder er mærket separat.
Er eksterne API-nøgler offentliggjort?
Nej. Den eksterne legitimation forbliver i testbrowseren og er aldrig inkluderet i en offentlig rapport. Nye opt-in komplette rapporter beholder kun den udtrukne modeltekst, der er nødvendig for at gøre vurderingen reviderbar.
Tjek modellen bag et AI-endepunkt
Kør én udfordring på browsersiden, inspicér hele sporingen, og udgiv eventuelt en permanent rapport, som andre kan revidere og dele.