Vervanging van modellen
Achter de geadverteerde modelnaam kan een goedkoper of anderszins ander model worden weergegeven. Een antwoord van hoge kwaliteit bewijst op zichzelf niet de geclaimde identiteit.
AI API-vertrouwen en modelidentiteit
Controleer of een AI API zich daadwerkelijk gedraagt zoals het model dat hij claimt
Een black-box-eindpunt kan een dure modelnaam adverteren terwijl verzoeken naar een andere, goedkopere of stilzwijgend gewijzigde backend worden doorgestuurd. Model Gate test de claim gedragsmatig met gedateerde feitelijke onderzoeken, puur terugroepbewijs, signalen van identiteitsconsistentie en een onafhankelijke rechter met versiebeheer.
Eén extern verzoekExterne API-sleutel blijft in de browserOpenbare permalinkrapportenBenchmark v1.7-modelovereenkomst
Waarom een LLM API verifiëren?
De modelnaam in een API-antwoord is een claim en geen externe attest
Klanten kiezen vaak een AI API op basis van het geadverteerde model, de prijs en de verwachte mogelijkheden. In een black-box API kan de klant normaal gesproken echter geen inzage krijgen in de serveergewichten of de routeringsbeslissing. Een proxy, reseller of gateway kan de verwachte model-ID retourneren, terwijl het daadwerkelijke gedrag afkomstig is van een andere backend. Dat creëert een praktisch probleem van modelvervanging en stille routering.
Stille routewijzigingen
Een eindpunt kan providers, varianten, kwantisering of routeringsbeleid wijzigen zonder de openbare modelreeks te wijzigen. Herhaaldelijk openbaar bewijs helpt gedragsafwijkingen aan het licht te brengen.
Afwijkende kennisgrens
Een model dat een recente identiteit claimt, kan zich herhaaldelijk alleen maar een oudere toestand van de wereld herinneren. Pure-recall temporele sondes maken die mismatch zichtbaar zonder gissingen als kennis te beschouwen.
Gerelateerd onderzoek
Academisch werk heeft modelvervanging in black-box LLM API's geformaliseerd en laat zien waarom alleen output-verificatie nuttig bewijs is, maar geen cryptografisch bewijs. Model Gate rapporteert daarom gedragsconsistentie en expliciete beperkingen in plaats van attestatie op afstand te claimen. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Openbaar verificatieregister
Publiceer een nieuwe testZoek naar gepubliceerde tests op model of eindpunt
Elke gepubliceerde run heeft een permanente rapport-URL. Nieuwe volledige rapportruns omvatten de geëxtraheerde, geteste modelreactie, beoordeling voor alle toegelaten vragen, bronnen, basislabels en beoordelingsredenen die nodig zijn om het resultaat te controleren of te delen.
8 gepubliceerde rapportenZoekfilters worden niet geïndexeerd; permalinks voor individuele rapporten zijn.
97/100
CONSISTENTgpt-6-astra
Bepaald door de beoordelaar: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Feitenherinnering
- —
- Actualiteit
- —
- Hallucinatie
- —
- Kalibratie
- —
88/100
PLAUSIBLEgpt-6-astra
Bepaald door de beoordelaar: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Feitenherinnering
- —
- Actualiteit
- —
- Hallucinatie
- —
- Kalibratie
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Bepaald door de beoordelaar: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Feitenherinnering
- 0
- Actualiteit
- 0
- Hallucinatie
- 96
- Kalibratie
- 88
38/100
SUSPICIOUSclaude-opus-5
Bepaald door de beoordelaar: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Feitenherinnering
- 0
- Actualiteit
- 0
- Hallucinatie
- 100
- Kalibratie
- 100
93/100
CONSISTENTclaude-opus-4-6
Bepaald door de beoordelaar: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Feitenherinnering
- 94
- Actualiteit
- 92
- Hallucinatie
- 94
- Kalibratie
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Feitenherinnering
- 88
- Actualiteit
- 88
- Hallucinatie
- 88
- Kalibratie
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Feitenherinnering
- 83
- Actualiteit
- 82
- Hallucinatie
- 83
- Kalibratie
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Feitenherinnering
- 100
- Actualiteit
- 100
- Hallucinatie
- 100
- Kalibratie
- 100
Onafhankelijk gemeenschapsbewijs
Eindpunten met consistent identiteitsbewijs volgens de huidige benchmark
Communitykwalificatie maakt gebruik van één laatst gepubliceerde v1.7-run per Model Gate-account voor hetzelfde eindpunt, geclaimd model, protocol en evaluator gedurende de afgelopen 30 dagen. De Model Match-score is identiteitsbewijs; gemeenschapskwalificatie vereist nog steeds consistente onafhankelijke identiteitsbeoordelingen.
Er is nog geen enkel eindpunt dat de huidige consistentie van de community heeft bereikt.
Dat is geen fout: kwalificatie vereist opzettelijk meerdere onafhankelijke huidige-benchmarkrekeningen. Bewijsmateriaal in voortgang en historische benchmarkruns worden hieronder weergegeven in plaats van een lege tabel.
Historisch benchmarkbewijs
claude-opus-5 · https://madclaude.cloud/v1/messages2 testen · 1 rekeningenmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 testen · 1 rekeningenmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 testen · 1 rekeningenmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Huidige kwalificatieregel3+ onafhankelijke testers · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% gemiddeld identiteitsvertrouwen
Methode
Wat Model Gate test – en hoe
De benchmark is ontworpen om gedrag te meten dat moeilijk te vervalsen is met alleen een modelnaamveld. Er wordt bewust onderscheid gemaakt tussen semantische antwoordkwaliteit, pure parameterachtige herinnering, onthouding/kalibratie en identiteitsconsistentie.
- 1
Bouw een gedateerde uitdaging
Benchmark v1.7 maakt eerst gebruik van de herbruikbare vragenbank rond de catalogusreferentielimiet. Als de bank de gevraagde maanden niet kan dekken, levert één onderzoeksverzoek van de voorgrondrechter de ontbrekende uitdaging op en voegt bruikbare nieuwe feiten toe aan de bank.
- 2
Selecteer resultaatgerichte vragen
Vragen vertegenwoordigen gedateerde uitkomsten in plaats van geplande of voorspelbare feiten. Bronmetagegevens zijn de auditcontext en niet-kritieke citatiefouten blokkeren een anderszins bruikbare vraag en het verwachte antwoord niet.
- 3
Maak precies één verzoek voor een getest eindpunt
De browser stuurt de gesloten-boekuitdaging rechtstreeks naar het externe HTTPS-eindpunt. De externe referentie passeert nooit Model Gate.
- 4
Beoordeel elk antwoord semantisch
Een niet-lege, succesvolle modelreactie wordt naar de browser-side rechter gestuurd voor semantische beoordeling, zelfs als de opmaak niet perfect is. De beoordelaar bewaart RECALL / INFERENCE / GUESS / UNKNOWN waar dat bewijsmateriaal beschikbaar is.
- 5
Creëer een grens voor pure herinnering
Alleen correcte of foute RECALL is afkapbewijs. Correcte gissingen en gevolgtrekkingen blijven zichtbaar, maar kunnen de kennisgrens van het model later niet verleggen. Als het bewijs onvoldoende is, zegt het rapport dat in plaats van een grens te verzinnen.
- 6
Scoor met een versie-juryrubriek
De kop Model Match-score maakt gebruik van de identiteitsrubriek van de rechter, en niet van een gemiddelde van gedragsdiagnostiek. Officiële cutoff-metagegevens blijven gescheiden van de waargenomen cutoff die is afgeleid van vertrouwde beheerdersreferentieruns.
Modelovereenkomst
Headline-juryscore voor gedragsconsistentie met het geclaimde referentiemodel.
Kennis bewijs
Feitelijke herinnering en kennis Recentheid diagnosticeren gedemonstreerde modelkennis.
Hallucinatie weerstand
Nuttige gedragskwaliteit, maar het voegt geen punten toe aan de modelidentiteit.
Kalibratie
Vertrouwen eerlijkheid blijft zichtbaar zonder de modelmatch op te blazen.
Interpretatie en beperkingen
Gedragsbewijs is nuttig, maar geen cryptografisch bewijs
Wat een krachtig rapport ondersteunt
- Het eindpunt gedroeg zich consistent met het geclaimde modelprofiel op deze benchmark.
- Het gedateerde terugroeppatroon is compatibel met het referentie-afkappuntbewijs.
- De onthouding, het vertrouwen en de zelfrapportage van het model werden samen met feitelijk gedrag geëvalueerd.
Wat het niet kan bewijzen
- Exacte portiegewichten, kwantisering of hardware kunnen niet alleen uit tekst worden bewezen.
- Een provider kan verschillende verzoeken naar verschillende backends routeren.
- Eén test is bewijs voor één observatie, geen permanente certificering.
- Omdat de test in de browser van de tester wordt uitgevoerd, kan een technisch bekwame tester de code of het verkeer aan de clientzijde wijzigen; Openbare rapporten zijn gedragsbewijs en geen attest op afstand.
Waarom publieke herhaling belangrijk is
- Onafhankelijke accounts verminderen de afhankelijkheid van één tester.
- Versie-benchmarks houden wezenlijk verschillende methodologieën gescheiden.
- Permanente rapportages maken veranderingen en meningsverschillen koppelbaar en controleerbaar.
FAQ
Vragen over AI-modelverificatie
Kan een API-modelnaam bewijzen welk model het verzoek heeft afgehandeld?
Nee. Een model-ID die door een black-box-API wordt geretourneerd, is metagegevens die door die API worden geleverd. Model Gate behandelt het als een claim en vergelijkt het gedrag met een door de beheerder verzamelde referentie met herhaalde geobserveerde antwoorden.
Welk probleem wordt door modelverificatie aangepakt?
Het helpt bij het onderzoeken van modelvervanging, stille routeringswijzigingen en andere gevallen waarin het gedrag van een black-box AI-eindpunt mogelijk niet overeenkomt met de modelidentiteit die aan de klant wordt geadverteerd.
Bewijst een hoge score cryptografisch de identiteit van het model?
Nee. Modelverificatie is gedragsbewijs, geen attest op afstand. De rechter beoordeelt gedragscorrespondentie, niet de exacte identiteit van de provider, en geen enkele serverdrempel verandert het resultaat.
Hoe wordt de kennisgrens getoetst?
Een ingeschakelde beheerdercollector krijgt herhaalde antwoorden op gedateerde bankvragen. Een kant-en-klare referentie beslaat 16 maanden aan beide kanten van de stabiele waargenomen RECALL. Een gebruikerstest selecteert 32 opgeslagen vragen zonder onderzoek en vraagt de rechter om afwijkingen in beide richtingen te beoordelen.
Geeft de server een modelidentiteitsbadge?
Nee. De huidige, op referenties gebaseerde rapporten behouden de beoordeling van de jury zonder serverscoreregels of een drempel voor community-identiteit. Historische methoden worden afzonderlijk gelabeld.
Worden externe API-sleutels gepubliceerd?
Nee. De externe inloggegevens blijven in de browser van de tester en worden nooit opgenomen in een openbaar rapport. Nieuwe, opt-in volledige rapporten behouden alleen de geëxtraheerde modeltekst die nodig is om de beoordeling controleerbaar te maken.
Controleer het model achter een AI-eindpunt
Voer één browseruitdaging uit, inspecteer de volledige trace en publiceer optioneel een permanent rapport dat anderen kunnen controleren en delen.