Modellerstatning
En billigere eller på annen måte annerledes modell kan serveres bak det annonserte modellnavnet. Et svar av høy kvalitet i seg selv beviser ikke den påståtte identiteten.
AI API-tillit og modellidentitet
Kontroller om en AI API faktisk oppfører seg som modellen den hevder
Et black-box-endepunkt kan annonsere et dyrt modellnavn mens det dirigerer forespørsler til en annen, billigere eller stille endret backend. Model Gate tester påstanden atferdsmessig med daterte faktaundersøkelser, rene gjenkallingsavskjæringsbevis, identitetskonsistenssignaler og en versjonert uavhengig dommer.
Én ekstern forespørselEkstern API-nøkkel forblir i nettleserenOffentlige permalink-rapporterBenchmark v1.7 modellmatch
Hvorfor bekrefte en LLM API?
Modellnavnet i et API-svar er et krav, ikke ekstern attestering
Kunder velger ofte en AI API basert på den annonserte modellen, prisen og forventet kapasitet. I en black-box API kan kunden imidlertid normalt ikke inspisere serveringsvektene eller rutebeslutningen. En proxy, forhandler eller gateway kan returnere den forventede modellidentifikatoren mens den faktiske oppførselen kommer fra en annen backend. Det skaper et praktisk modell-substitusjon og stille-ruting tillitsproblem.
Stille rutingendringer
Et endepunkt kan endre leverandører, varianter, kvantisering eller rutingpolicy uten å endre den offentlige modellstrengen. Gjentatte offentlige bevis hjelper overflaten med atferdsdrift.
Avvik i kunnskapens tidsgrense
En modell som hevder en nylig identitet kan gjentatte ganger bare huske en eldre tilstand i verden. Tidssonder med rene gjenkalling gjør denne mismatchen synlig uten å regne gjetninger som kunnskap.
Relatert forskning
Akademisk arbeid har formalisert modellsubstitusjon i black-box LLM APIer og viser hvorfor kun utdataverifisering er nyttig bevis, men ikke kryptografisk bevis. Model Gate rapporterer derfor atferdsmessig konsistens og eksplisitte begrensninger i stedet for å kreve ekstern attestering. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Offentlig verifikasjonsregister
Publiser en ny testSøk etter publiserte tester etter modell eller endepunkt
Hver publisert kjøring har en permanent rapport-URL. Nye fullrapportkjøringer inkluderer det ekstraherte svaret på testmodellen, karaktersetting for alle innrømmede spørsmål, kilder, grunnlagsetiketter og dommerbegrunnelse som er nødvendig for å revidere eller dele resultatet.
8 publiserte rapporterSøkefiltre er ikke indeksert; Permalinks for individuelle rapporter er.
97/100
CONSISTENTgpt-6-astra
Fastslått av vurderingsmodellen: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Gjenkalling av fakta
- —
- Aktualitet
- —
- Hallusinasjon
- —
- Kalibrering
- —
88/100
PLAUSIBLEgpt-6-astra
Fastslått av vurderingsmodellen: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Gjenkalling av fakta
- —
- Aktualitet
- —
- Hallusinasjon
- —
- Kalibrering
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Fastslått av vurderingsmodellen: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Gjenkalling av fakta
- 0
- Aktualitet
- 0
- Hallusinasjon
- 96
- Kalibrering
- 88
38/100
SUSPICIOUSclaude-opus-5
Fastslått av vurderingsmodellen: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Gjenkalling av fakta
- 0
- Aktualitet
- 0
- Hallusinasjon
- 100
- Kalibrering
- 100
93/100
CONSISTENTclaude-opus-4-6
Fastslått av vurderingsmodellen: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Gjenkalling av fakta
- 94
- Aktualitet
- 92
- Hallusinasjon
- 94
- Kalibrering
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Gjenkalling av fakta
- 88
- Aktualitet
- 88
- Hallusinasjon
- 88
- Kalibrering
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Gjenkalling av fakta
- 83
- Aktualitet
- 82
- Hallusinasjon
- 83
- Kalibrering
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Gjenkalling av fakta
- 100
- Aktualitet
- 100
- Hallusinasjon
- 100
- Kalibrering
- 100
Uavhengig samfunnsbevis
Endepunkter med konsekvent gjeldende referanseidentitetsbevis
Fellesskapskvalifisering bruker én siste publiserte versjon 1.7 per Model Gate-konto for samme endepunkt, påståtte modell, protokoll og evaluator i løpet av de siste 30 dagene. Model Match-poengsum er identitetsbevis; samfunnskvalifisering krever fortsatt konsekvente uavhengige identitetsvurderinger.
Ingen endepunkter har nådd gjeldende standard fellesskapskonsistens ennå.
Det er ikke en feil: kvalifisering krever med vilje flere uavhengige gjeldende referansekontoer. Bevis på gang og historiske benchmarkkjøringer vises nedenfor i stedet for en tom tabell.
Historiske referansebevis
claude-opus-5 · https://madclaude.cloud/v1/messages2 tester · 1 kontoermodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 tester · 1 kontoermodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 tester · 1 kontoermodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Gjeldende kvalifikasjonsregel3+ uavhengige testere · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% gjennomsnittlig identitetssikkerhet
Metode
Hva Model Gate tester - og hvordan
Benchmark er designet for å måle atferd som er vanskelig å forfalske med et modellnavnfelt alene. Den skiller bevisst semantisk svarkvalitet, ren parameterlignende tilbakekalling, avholdenhet/kalibrering og identitetskonsistens.
- 1
Bygg en datert utfordring
Benchmark v1.7 bruker først den gjenbrukbare spørsmålsbanken rundt katalogreferansegrensen. Hvis banken ikke kan dekke de forespurte månedene, gir en forgrunnsdommerforskningsforespørsel den manglende utfordringen og legger til brukbare nye fakta til banken.
- 2
Velg utfallsbaserte spørsmål
Spørsmål representerer daterte utfall i stedet for planlagte eller forutsigbare fakta. Kildemetadata er revisjonskontekst, og ikke-kritiske siteringsfeil blokkerer ikke et ellers brukbart spørsmål og forventet svar.
- 3
Gjør nøyaktig én forespørsel om testet endepunkt
Nettleseren sender den lukkede bokutfordringen direkte til det eksterne HTTPS-endepunktet. Den eksterne legitimasjonen går aldri gjennom Model Gate.
- 4
Vurder hvert svar semantisk
Et ikke-tomt vellykket modellsvar sendes til dommeren på nettleseren for semantisk gradering selv når formateringen er ufullkommen. Evaluatoren beholder RECALL / INFERENS / GUESS / UKJENT der dette beviset er tilgjengelig.
- 5
Bygg en ren gjenkallingsgrense
Bare riktig eller feil RECALL er cutoff-bevis. Riktige gjetninger og slutninger forblir synlige, men kan ikke flytte modellens kunnskapsgrense senere. Hvis bevisene er utilstrekkelige, sier rapporten det i stedet for å finne på en cutoff.
- 6
Score med en versjonert dommerrubrikk
Overskriften Model Match-poengsum bruker dommeridentitetsrubrikken, ikke et gjennomsnitt av atferdsdiagnostikk. Offisielle cutoff-metadata forblir atskilt fra Observed cutoff avledet fra klarerte administratorreferansekjøringer.
Modellsamsvar
Overskriftsdommerscore for atferdsmessig konsistens med den påståtte referansemodellen.
Kunnskapsbevis
Factual Recall og Knowledge Recency-diagnose demonstrerte modellkunnskap.
Hallusinasjonsmotstand
Nyttig atferdskvalitet, men det gir ikke poeng til modellidentitet.
Kalibrering
Selvtillit ærlighet forblir synlig uten å blåse opp modellmatchen.
Tolkning og begrensninger
Bevis på atferd er nyttig, men det er ikke kryptografisk bevis
Hva en sterk rapport støtter
- Endepunktet oppførte seg konsekvent med den påståtte modellprofilen på denne referansen.
- Det daterte tilbakekallingsmønsteret er kompatibelt med referanseavskjæringsbeviset.
- Modellens avholdenhet, tillit og selvrapportering ble evaluert sammen med faktisk atferd.
Hva den ikke kan bevise
- Nøyaktig serveringsvekt, kvantisering eller maskinvare kan ikke bevises fra tekst alene.
- En leverandør kan rute forskjellige forespørsler til forskjellige backends.
- Én test er bevis på én observasjon, ikke en permanent sertifisering.
- Fordi testen kjører i testerens nettleser, kan en teknisk dyktig tester endre kode eller trafikk på klientsiden; offentlige rapporter er atferdsbevis, ikke fjernattestering.
Hvorfor offentlig gjentakelse er viktig
- Uavhengige kontoer reduserer avhengigheten av én tester.
- Versjonerte benchmarks holder vesentlig forskjellige metoder atskilt.
- Permanente rapporter gjør endringer og uenigheter koblingsbare og reviderbare.
FAQ
Spørsmål om AI-modellverifisering
Kan et API-modellnavn bevise hvilken modell som leverte forespørselen?
Nei. En modellidentifikator som returneres av en black-box API er metadata levert av denne API. Model Gate behandler det som et krav og sammenligner atferd med en versjonert administratorinnsamlet referanse med gjentatte observerte svar.
Hvilket problem løser modellverifisering?
Det hjelper med å undersøke modellerstatning, stille rutingendringer og andre tilfeller der oppførselen til et black-box AI-endepunkt kanskje ikke samsvarer med modellidentiteten som er annonsert til kunden.
Beviser en høy score kryptografisk modellidentitet?
Nei. Modellverifisering er atferdsbevis, ikke fjernattestering. Dommeren vurderer atferdskorrespondanse, ikke eksakt leverandøridentitet, og ingen serverterskel endrer resultatet.
Hvordan testes kunnskapsgrensen?
En aktivert administratorsamler får gjentatte svar på daterte bankspørsmål. En klar referanse spenner over 16 måneder på begge sider av stabil observert RECALL. En brukertest velger ut 32 lagrede spørsmål uten research og ber dommeren vurdere avvik i begge retninger.
Tildeler serveren et modellidentitetsmerke?
Nei. Nåværende referansebaserte rapporter beholder dommervurderingen uten serverscoreregler eller en terskel for fellesskapsidentitet. Historiske metoder er merket separat.
Er eksterne API-nøkler publisert?
Nei. Den eksterne legitimasjonen forblir i testernettleseren og er aldri inkludert i en offentlig rapport. Nye fullstendige rapporter for opt-in beholder bare den utpakkede modellteksten som er nødvendig for å gjøre vurderingen reviderbar.
Sjekk modellen bak et AI-endepunkt
Kjør én utfordring på nettleseren, inspiser hele sporet, og publiser eventuelt en permanent rapport som andre kan revidere og dele.