Modellersatz
Hinter der beworbenen Modellbezeichnung kann es sein, dass ein günstigeres oder anderweitig anderes Modell angeboten wird. Eine qualitativ hochwertige Antwort allein beweist nicht die behauptete Identität.
KI-API-Vertrauen und Modellidentität
Überprüfen Sie, ob sich eine KI-API tatsächlich wie das von ihr beanspruchte Modell verhält
Ein Black-Box-Endpunkt kann einen teuren Modellnamen bekannt geben, während Anfragen an ein anderes, günstigeres oder stillschweigend geändertes Backend weitergeleitet werden. Model Gate testet die Behauptung verhaltensmäßig mit veralteten Sachverhaltsermittlungen, reinen Rückruf-Cutoff-Beweisen, Identitätskonsistenzsignalen und einem versionierten unabhängigen Richter.
Eine externe AnfrageDer externe API-Schlüssel bleibt im BrowserÖffentliche Permalink-BerichteBenchmark v1.7-Modellübereinstimmung
Warum eine LLM-API verifizieren?
Der Modellname in einer API-Antwort ist ein Anspruch, keine Remote-Bescheinigung
Kunden entscheiden sich häufig für eine KI-API basierend auf dem beworbenen Modell, dem Preis und der erwarteten Leistungsfähigkeit. Bei einer Black-Box-API kann der Kunde jedoch normalerweise die Bereitstellungsgewichte oder die Routing-Entscheidung nicht überprüfen. Ein Proxy, Reseller oder Gateway kann die erwartete Modellkennung zurückgeben, während das tatsächliche Verhalten von einem anderen Backend stammt. Dadurch entsteht ein praktisches Modellsubstitutions- und Silent-Routing-Vertrauensproblem.
Stille Routing-Änderungen
Ein Endpunkt kann Anbieter, Varianten, Quantisierung oder Routing-Richtlinien ändern, ohne die öffentliche Modellzeichenfolge zu ändern. Wiederholte öffentliche Beweise tragen dazu bei, Verhaltensdrift an die Oberfläche zu bringen.
Abweichende Wissensgrenze
Ein Modell, das eine aktuelle Identität beansprucht, erinnert möglicherweise wiederholt nur an einen älteren Zustand der Welt. Zeitliche Sonden mit reinem Rückruf machen diese Diskrepanz sichtbar, ohne Vermutungen als Wissen zu zählen.
Verwandte Forschung
Wissenschaftliche Arbeiten haben die Modellsubstitution in Black-Box-LLM-APIs formalisiert und zeigen, warum die reine Ausgabeverifizierung ein nützlicher Beweis, aber kein kryptografischer Beweis ist. Model Gate meldet daher Verhaltenskonsistenz und explizite Einschränkungen, anstatt eine Fernbescheinigung zu beanspruchen. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Öffentliches Verifizierungsregister
Veröffentlichen Sie einen neuen TestDurchsuchen Sie veröffentlichte Tests nach Modell oder Endpunkt
Jeder veröffentlichte Lauf verfügt über eine permanente Berichts-URL. Neue vollständige Berichtsläufe umfassen die extrahierte Antwort des getesteten Modells, die Bewertung aller zugelassenen Fragen, Quellen, Basisbezeichnungen und Richterbegründungen, die für die Prüfung oder Weitergabe des Ergebnisses erforderlich sind.
8 veröffentlichte BerichteSuchfilter werden nicht indiziert; Einzelne Berichtspermalinks sind.
97/100
CONSISTENTgpt-6-astra
Vom Bewertungsmodell bestimmt: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Faktenabruf
- —
- Aktualität
- —
- Halluzination
- —
- Kalibrierung
- —
88/100
PLAUSIBLEgpt-6-astra
Vom Bewertungsmodell bestimmt: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Faktenabruf
- —
- Aktualität
- —
- Halluzination
- —
- Kalibrierung
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Vom Bewertungsmodell bestimmt: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Faktenabruf
- 0
- Aktualität
- 0
- Halluzination
- 96
- Kalibrierung
- 88
38/100
SUSPICIOUSclaude-opus-5
Vom Bewertungsmodell bestimmt: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Faktenabruf
- 0
- Aktualität
- 0
- Halluzination
- 100
- Kalibrierung
- 100
93/100
CONSISTENTclaude-opus-4-6
Vom Bewertungsmodell bestimmt: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Faktenabruf
- 94
- Aktualität
- 92
- Halluzination
- 94
- Kalibrierung
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Faktenabruf
- 88
- Aktualität
- 88
- Halluzination
- 88
- Kalibrierung
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Faktenabruf
- 83
- Aktualität
- 82
- Halluzination
- 83
- Kalibrierung
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Faktenabruf
- 100
- Aktualität
- 100
- Halluzination
- 100
- Kalibrierung
- 100
Unabhängige Community-Beweise
Endpunkte mit konsistentem aktuellen Benchmark-Identitätsnachweis
Bei der Community-Qualifikation wird ein aktueller veröffentlichter v1.7-Lauf pro Model Gate-Konto für denselben Endpunkt, dasselbe beanspruchte Modell, dasselbe Protokoll und denselben Evaluator in den letzten 30 Tagen verwendet. Der Model-Match-Score ist ein Identitätsbeweis. Die Community-Qualifizierung erfordert immer noch konsistente unabhängige Identitätsbewertungen.
Bisher hat noch kein Endpunkt die Community-Konsistenz der aktuellen Benchmark erreicht.
Das ist kein Fehler: Für die Qualifizierung sind absichtlich mehrere unabhängige aktuelle Benchmark-Konten erforderlich. Anstelle einer leeren Tabelle werden unten laufende Nachweise und historische Benchmark-Läufe angezeigt.
Historische Benchmark-Beweise
claude-opus-5 · https://madclaude.cloud/v1/messages2 Tests · 1 Kontenmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 Tests · 1 Kontenmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 Tests · 1 Kontenmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Aktuelle Qualifikationsregel3+ unabhängige Tester · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% durchschnittliches Identitätsvertrauen
Verfahren
Was Model Gate testet – und wie
Der Benchmark soll Verhalten messen, das allein mit einem Modellnamenfeld nur schwer vorgetäuscht werden kann. Es trennt bewusst semantische Antwortqualität, reines Parameter-ähnliches Erinnern, Enthaltung/Kalibrierung und Identitätskonsistenz.
- 1
Erstellen Sie eine veraltete Herausforderung
Benchmark v1.7 verwendet zunächst die wiederverwendbare Fragenbank rund um den Katalogreferenzgrenzwert. Wenn die Bank die geforderten Monate nicht abdecken kann, liefert ein vordergründiger Richter-Recherche-Antrag die fehlende Herausforderung und fügt der Bank verwertbare neue Fakten hinzu.
- 2
Wählen Sie ergebnisbasierte Fragen aus
Bei den Fragen handelt es sich eher um veraltete Ergebnisse als um geplante oder vorhersehbare Fakten. Quellmetadaten sind Prüfungskontext und unkritische Zitierfehler blockieren nicht eine ansonsten verwendbare Frage und erwartete Antwort.
- 3
Stellen Sie genau eine Anfrage für einen getesteten Endpunkt
Der Browser sendet die Closed-Book-Challenge direkt an den externen HTTPS-Endpunkt. Der externe Berechtigungsnachweis passiert niemals Model Gate.
- 4
Bewerten Sie jede Antwort semantisch
Eine nicht leere erfolgreiche Modellantwort wird zur semantischen Bewertung an den browserseitigen Richter gesendet, selbst wenn die Formatierung unvollständig ist. Der Gutachter bewahrt RECALL / INFERENCE / GUESS / UNKNOWN auf, sofern diese Beweise verfügbar sind.
- 5
Erstellen Sie eine reine Erinnerungsgrenze
Nur ein korrekter oder falscher RECALL ist ein Cutoff-Beweis. Richtige Vermutungen und Schlussfolgerungen bleiben sichtbar, können die Wissensgrenze des Modells jedoch später nicht überschreiten. Wenn die Beweise nicht ausreichen, sagt der Bericht dies, anstatt einen Grenzwert zu erfinden.
- 6
Punkte mit einer versionierten Richterrubrik
Der Headline-Model-Match-Score verwendet die Rubrik „Richteridentität“ und keinen Durchschnitt der Verhaltensdiagnostik. Offizielle Cutoff-Metadaten bleiben vom beobachteten Cutoff getrennt, der aus Referenzläufen vertrauenswürdiger Administratoren abgeleitet wird.
Modellübereinstimmung
Hauptbewertung der Jury für Verhaltenskonsistenz mit dem beanspruchten Referenzmodell.
Wissensnachweis
Faktenrückruf und Wissensaktualität diagnostizieren nachgewiesenes Modellwissen.
Halluzinationsresistenz
Nützliche Verhaltensqualität, aber es fügt der Modellidentität keine Punkte hinzu.
Kalibrierung
Selbstvertrauen und Ehrlichkeit bleiben sichtbar, ohne die Modellübereinstimmung aufzublähen.
Interpretation und Einschränkungen
Verhaltensbeweise sind nützlich, aber kein kryptografischer Beweis
Was für ein starker Bericht unterstützt
- Der Endpunkt verhielt sich bei diesem Benchmark konsistent mit dem beanspruchten Modellprofil.
- Das datierte Rückrufmuster ist mit den Referenz-Cutoff-Beweisen kompatibel.
- Die Enthaltung, das Selbstvertrauen und die Selbstauskunft des Modells wurden zusammen mit dem sachlichen Verhalten bewertet.
Was es nicht beweisen kann
- Genaue Portionsgewichte, Quantisierung oder Hardware können nicht allein anhand des Textes nachgewiesen werden.
- Ein Anbieter kann verschiedene Anfragen an verschiedene Backends weiterleiten.
- Ein Test ist ein Beweis für eine Beobachtung, keine dauerhafte Zertifizierung.
- Da der Test im Browser des Testers ausgeführt wird, kann ein technisch versierter Tester den clientseitigen Code oder Datenverkehr ändern; Öffentliche Berichte sind Verhaltensbeweise und keine Fernbescheinigung.
Warum öffentliche Wiederholung wichtig ist
- Unabhängige Konten reduzieren die Abhängigkeit von einem Tester.
- Versionierte Benchmarks halten wesentlich unterschiedliche Methoden voneinander getrennt.
- Permanente Berichte machen Änderungen und Unstimmigkeiten verknüpfbar und überprüfbar.
FAQ
Fragen zur KI-Modellverifizierung
Kann ein API-Modellname beweisen, welches Modell die Anfrage bedient hat?
Nein. Bei einer von einer Black-Box-API zurückgegebenen Modellkennung handelt es sich um Metadaten, die von dieser API bereitgestellt werden. Model Gate behandelt es als Anspruch und vergleicht das Verhalten mit einer versionierten, vom Administrator gesammelten Referenz mit wiederholt beobachteten Antworten.
Welches Problem löst die Modellverifizierung?
Es hilft bei der Untersuchung von Modellersetzungen, stillen Routing-Änderungen und anderen Fällen, in denen das Verhalten eines Black-Box-KI-Endpunkts möglicherweise nicht mit der dem Kunden angekündigten Modellidentität übereinstimmt.
Beweist ein Highscore kryptografisch die Modellidentität?
Nein. Bei der Modellverifizierung handelt es sich um einen Verhaltensbeweis, nicht um eine Fernbescheinigung. Der Richter bewertet die Verhaltenskorrespondenz, nicht die genaue Anbieteridentität, und kein Serverschwellenwert ändert das Ergebnis.
Wie wird der Wissensgrenzwert getestet?
Ein aktivierter Administrator-Collector erhält wiederholt Antworten auf veraltete Bankfragen. Eine fertige Referenz erstreckt sich über 16 Monate auf beiden Seiten des stabil beobachteten RECALL. Ein Benutzertest wählt 32 gespeicherte Fragen ohne Recherche aus und fordert den Richter auf, Abweichungen in beide Richtungen zu bewerten.
Vergibt der Server ein Modellidentitätsabzeichen?
Nein. Aktuelle referenzbasierte Berichte behalten die Beurteilung durch den Richter bei, ohne Server-Score-Regeln oder einen Schwellenwert für die Community-Identität. Historische Methoden sind gesondert gekennzeichnet.
Werden externe API-Schlüssel veröffentlicht?
Nein. Die externen Anmeldeinformationen verbleiben im Browser des Testers und werden niemals in einen öffentlichen Bericht aufgenommen. Neue vollständige Opt-in-Berichte enthalten nur den extrahierten Modelltext, der erforderlich ist, um die Bewertung überprüfbar zu machen.
Überprüfen Sie das Modell hinter einem KI-Endpunkt
Führen Sie eine browserseitige Herausforderung aus, überprüfen Sie die vollständige Ablaufverfolgung und veröffentlichen Sie optional einen permanenten Bericht, damit andere ihn prüfen und teilen können.