Sostituzione del modello
Dietro il nome del modello pubblicizzato potrebbe essere offerto un modello più economico o comunque diverso. Una risposta di alta qualità di per sé non dimostra l’identità dichiarata.
Fiducia dell'API AI e identità del modello
Verifica se un'API AI si comporta effettivamente come il modello che afferma
Un endpoint black-box può pubblicizzare un nome di modello costoso mentre instrada le richieste a un backend diverso, più economico o modificato silenziosamente. Model Gate verifica l'affermazione in modo comportamentale con sonde fattuali datate, prove di interruzione del puro ricordo, segnali di coerenza dell'identità e un giudice indipendente con versione.
Una richiesta esternaLa chiave API esterna rimane nel browserRapporti pubblici sui permalinkCorrispondenza del modello benchmark v1.7
Perché verificare un'API LLM?
Il nome del modello in una risposta API è un'attestazione, non un'attestazione remota
I clienti spesso scelgono un'API AI in base al modello pubblicizzato, al prezzo e alle funzionalità previste. In un'API black-box, tuttavia, il cliente normalmente non può verificare il peso della porzione o la decisione sul routing. Un proxy, un rivenditore o un gateway possono restituire l'identificatore del modello previsto mentre il comportamento effettivo proviene da un altro backend. Ciò crea un problema pratico di sostituzione del modello e di fiducia nel routing silenzioso.
Modifiche silenziose del routing
Un endpoint può modificare provider, varianti, quantizzazione o policy di routing senza modificare la stringa del modello pubblico. Le ripetute prove pubbliche aiutano a far emergere la deriva comportamentale.
Discrepanza nella data limite delle conoscenze
Un modello che rivendica un’identità recente può ricordare ripetutamente solo uno stato del mondo più antico. Le indagini temporali di puro richiamo rendono visibile tale discrepanza senza contare le ipotesi come conoscenza.
Ricerca correlata
Il lavoro accademico ha formalizzato la sostituzione del modello nelle API LLM black-box e mostra perché la verifica del solo output è una prova utile ma non una prova crittografica. Model Gate pertanto segnala coerenza comportamentale e limitazioni esplicite anziché rivendicare un'attestazione remota. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Registro pubblico di verifica
Pubblica un nuovo testCerca i test pubblicati per modello o endpoint
Ogni esecuzione pubblicata ha un URL di report permanente. Le nuove esecuzioni del rapporto completo includono la risposta estratta dal modello testato, la valutazione di tutte le domande ammesse, le fonti, le etichette di base e il ragionamento del giudice necessari per verificare o condividere il risultato.
8 rapporti pubblicatiI filtri di ricerca non sono indicizzati; i permalink dei singoli rapporti lo sono.
97/100
CONSISTENTgpt-6-astra
Determinato dal valutatore: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Richiamo di fatti
- —
- Attualità
- —
- Allucinazione
- —
- Calibrazione
- —
88/100
PLAUSIBLEgpt-6-astra
Determinato dal valutatore: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Richiamo di fatti
- —
- Attualità
- —
- Allucinazione
- —
- Calibrazione
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Determinato dal valutatore: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Richiamo di fatti
- 0
- Attualità
- 0
- Allucinazione
- 96
- Calibrazione
- 88
38/100
SUSPICIOUSclaude-opus-5
Determinato dal valutatore: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Richiamo di fatti
- 0
- Attualità
- 0
- Allucinazione
- 100
- Calibrazione
- 100
93/100
CONSISTENTclaude-opus-4-6
Determinato dal valutatore: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Richiamo di fatti
- 94
- Attualità
- 92
- Allucinazione
- 94
- Calibrazione
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Richiamo di fatti
- 88
- Attualità
- 88
- Allucinazione
- 88
- Calibrazione
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Richiamo di fatti
- 83
- Attualità
- 82
- Allucinazione
- 83
- Calibrazione
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Richiamo di fatti
- 100
- Attualità
- 100
- Allucinazione
- 100
- Calibrazione
- 100
Prove della comunità indipendente
Endpoint con prove di identità coerenti con l'attuale benchmark
La qualificazione della community utilizza l'ultima esecuzione v1.7 pubblicata per account Model Gate per lo stesso endpoint, modello dichiarato, protocollo e valutatore negli ultimi 30 giorni. Il punteggio di corrispondenza del modello è una prova dell'identità; la qualificazione comunitaria richiede ancora valutazioni coerenti e indipendenti dell’identità.
Nessun endpoint ha ancora raggiunto la coerenza della comunità di riferimento attuale.
Questo non è un errore: la qualificazione richiede intenzionalmente più conti indipendenti del benchmark corrente. Di seguito sono mostrate le prove in corso e le esecuzioni dei benchmark storici invece di una tabella vuota.
Prove di riferimento storico
claude-opus-5 · https://madclaude.cloud/v1/messages2 prove · 1 contimodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 prove · 1 contimodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 prove · 1 contimodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Regola di qualificazione attuale3+ tester indipendenti · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% confidenza media dell'identità
Metodo
Cosa testa Model Gate e come
Il benchmark è progettato per misurare comportamenti difficili da falsificare solo con il campo del nome del modello. Separa deliberatamente la qualità della risposta semantica, il puro richiamo parametrico, l'astensione/calibrazione e la coerenza dell'identità.
- 1
Costruisci una sfida datata
Benchmark v1.7 utilizza innanzitutto la banca di domande riutilizzabili attorno al limite di riferimento del catalogo. Se la banca non può coprire i mesi richiesti, una richiesta di ricerca del giudice in primo piano fornisce la sfida mancante e aggiunge nuovi fatti utilizzabili alla banca.
- 2
Seleziona domande basate sui risultati
Le domande rappresentano risultati datati piuttosto che fatti programmati o prevedibili. I metadati di origine sono il contesto di audit e i difetti di citazione non critici non bloccano una domanda altrimenti utilizzabile e la risposta prevista.
- 3
Effettua esattamente una richiesta di endpoint testato
Il browser invia la verifica del libro chiuso direttamente all'endpoint HTTPS esterno. La credenziale esterna non passa mai attraverso Model Gate.
- 4
Giudica ogni risposta semanticamente
Una risposta del modello riuscita non vuota viene inviata al giudice lato browser per la classificazione semantica anche quando la sua formattazione è imperfetta. Il valutatore conserva RICORDA / INFERENZA / Indovina / SCONOSCIUTO dove tale prova è disponibile.
- 5
Costruisci un confine di puro ricordo
Solo il RECALL corretto o sbagliato è una prova limite. Le ipotesi e le inferenze corrette rimangono visibili ma non possono oltrepassare i confini della conoscenza del modello in un secondo momento. Se le prove sono insufficienti, il rapporto lo afferma invece di inventare un limite.
- 6
Punteggio con una rubrica Judge con versione
Il punteggio Model Match del titolo utilizza la rubrica dell'identità del giudice, non una media della diagnostica comportamentale. I metadati del limite ufficiale rimangono separati dal limite osservato derivato dalle esecuzioni di riferimento dell'amministratore attendibile.
Corrispondenza del modello
Punteggio del giudice principale per la coerenza comportamentale con il modello di riferimento dichiarato.
Prove di conoscenza
Il richiamo fattuale e l'attualità della conoscenza diagnosticano la conoscenza del modello dimostrata.
Resistenza alle allucinazioni
Qualità di comportamento utile, ma non aggiunge punti all'identità del modello.
Calibrazione
L'onestà della fiducia rimane visibile senza gonfiare la corrispondenza del modello.
Interpretazione e limitazioni
Le prove comportamentali sono utili, ma non sono prove crittografiche
Ciò che sostiene una relazione forte
- L'endpoint si è comportato in modo coerente con il profilo del modello dichiarato su questo benchmark.
- Il modello di richiamo datato è compatibile con le prove limite di riferimento.
- L’astensione, la fiducia e l’autovalutazione del modello sono state valutate insieme al comportamento fattuale.
Ciò che non può dimostrare
- I pesi esatti della porzione, la quantizzazione o l'hardware non possono essere dimostrati solo dal testo.
- Un provider può instradare richieste diverse a backend diversi.
- Un test è la prova di un'osservazione, non una certificazione permanente.
- Poiché il test viene eseguito nel browser del tester, un tester tecnicamente capace può modificare il codice o il traffico lato client; le segnalazioni pubbliche sono prove comportamentali, non attestazioni remote.
Perché la ripetizione pubblica è importante
- Gli account indipendenti riducono la dipendenza da un tester.
- I benchmark con versione mantengono separate metodologie sostanzialmente diverse.
- I rapporti permanenti rendono i cambiamenti e i disaccordi collegabili e verificabili.
FAQ
Domande sulla verifica del modello AI
Il nome di un modello API può dimostrare quale modello ha servito la richiesta?
No. Un identificatore di modello restituito da un'API black-box è costituito da metadati forniti da tale API. Model Gate lo tratta come un'affermazione e confronta il comportamento con un riferimento con versione raccolto dall'amministratore con risposte osservate ripetute.
Quale problema affronta la verifica del modello?
Aiuta a indagare sulla sostituzione del modello, sulle modifiche silenziose del routing e su altri casi in cui il comportamento di un endpoint AI black-box potrebbe non corrispondere all'identità del modello pubblicizzata al cliente.
Un punteggio elevato dimostra crittograficamente l’identità del modello?
No. La verifica del modello è una prova comportamentale, non un'attestazione remota. Il giudice valuta la corrispondenza comportamentale, non l'identità esatta del fornitore, e nessuna soglia del server modifica il risultato.
Come viene testato il limite di conoscenza?
Un collezionista amministratore abilitato ottiene risposte ripetute a domande bancarie datate. Un riferimento pronto copre 16 mesi su entrambi i lati del RECALL osservato stabile. Un test utente seleziona 32 domande salvate senza ricerca e chiede al giudice di valutare le deviazioni in entrambe le direzioni.
Il server assegna un badge identificativo del modello?
No. Gli attuali rapporti basati su riferimenti mantengono la valutazione del giudice senza regole sul punteggio del server o una soglia di identità della comunità. I metodi storici sono etichettati separatamente.
Le chiavi API esterne vengono pubblicate?
No. La credenziale esterna rimane nel browser del tester e non viene mai inclusa in un report pubblico. I nuovi report completi con adesione conservano solo il testo del modello estratto necessario per rendere verificabile la valutazione.
Controlla il modello dietro un endpoint AI
Esegui una verifica lato browser, esamina la traccia completa e, facoltativamente, pubblica un report permanente affinché altri possano verificarlo e condividerlo.