Substytucja modelu
Pod reklamowaną nazwą modelu może znajdować się tańszy lub inny model. Sama odpowiedź wysokiej jakości nie potwierdza deklarowanej tożsamości.
Zaufanie API AI i tożsamość modelu
Sprawdź, czy interfejs API AI faktycznie zachowuje się jak model, który twierdzi
Punkt końcowy czarnej skrzynki może reklamować kosztowną nazwę modelu, jednocześnie kierując żądania do innego, tańszego lub dyskretnie zmienionego backendu. Model Gate testuje twierdzenie pod względem behawioralnym, korzystając z przestarzałych danych faktycznych, dowodów odcięcia opartych na czystym przypomnieniu, sygnałów potwierdzających spójność tożsamości i niezależnego sędziego opartego na wersji.
Jedno żądanie zewnętrzneZewnętrzny klucz API pozostaje w przeglądarcePubliczne raporty z linkami bezpośrednimiDopasowanie modelu Benchmark v1.7
Po co weryfikować API LLM?
Nazwa modelu w odpowiedzi interfejsu API jest oświadczeniem, a nie zdalnym zaświadczeniem
Klienci często wybierają API AI w oparciu o reklamowany model, cenę i oczekiwane możliwości. Jednak w przypadku interfejsu API czarnej skrzynki klient zwykle nie może sprawdzić wagi serwowanych produktów ani decyzji dotyczących trasy. Serwer proxy, sprzedawca lub brama mogą zwrócić oczekiwany identyfikator modelu, podczas gdy rzeczywiste zachowanie pochodzi z innego zaplecza. Stwarza to praktyczny problem polegający na podmianie modelu i cichym routingu.
Ciche zmiany routingu
Punkt końcowy może zmieniać dostawców, warianty, zasady kwantyzacji lub routingu bez zmiany ciągu modelu publicznego. Powtarzające się dowody publiczne pomagają wydobyć na światło dzienne dryf behawioralny.
Niezgodność granicy czasowej wiedzy
Modelka podająca się za niedawną tożsamość może wielokrotnie przywoływać jedynie starszy stan świata. Sondy czasowe czystego przypomnienia sprawiają, że niedopasowanie staje się widoczne bez liczenia domysłów jako wiedzy.
Powiązane badania
Prace akademickie sformalizowały zastępowanie modeli w czarnoskrzynkowych interfejsach API LLM i pokazują, dlaczego weryfikacja wyłącznie wyników jest użytecznym dowodem, ale nie dowodem kryptograficznym. Dlatego Model Gate raportuje spójność behawioralną i wyraźne ograniczenia, zamiast domagać się zdalnego poświadczenia. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Publiczny rejestr weryfikacyjny
Opublikuj nowy testPrzeszukuj opublikowane testy według modelu lub punktu końcowego
Każde opublikowane uruchomienie ma stały adres URL raportu. Nowe pełne raporty obejmują wyodrębnioną odpowiedź z testowanego modelu, ocenę wszystkich dopuszczonych pytań, źródła, etykiety podstawowe i uzasadnienie sędziego potrzebne do audytu lub udostępnienia wyniku.
8 opublikowanych raportówFiltry wyszukiwania nie są indeksowane; indywidualne linki do raportów są.
97/100
CONSISTENTgpt-6-astra
Ustalone przez oceniającego: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Odtwarzanie faktów
- —
- Aktualność
- —
- Halucynacja
- —
- Kalibrowanie
- —
88/100
PLAUSIBLEgpt-6-astra
Ustalone przez oceniającego: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Odtwarzanie faktów
- —
- Aktualność
- —
- Halucynacja
- —
- Kalibrowanie
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Ustalone przez oceniającego: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Odtwarzanie faktów
- 0
- Aktualność
- 0
- Halucynacja
- 96
- Kalibrowanie
- 88
38/100
SUSPICIOUSclaude-opus-5
Ustalone przez oceniającego: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Odtwarzanie faktów
- 0
- Aktualność
- 0
- Halucynacja
- 100
- Kalibrowanie
- 100
93/100
CONSISTENTclaude-opus-4-6
Ustalone przez oceniającego: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Odtwarzanie faktów
- 94
- Aktualność
- 92
- Halucynacja
- 94
- Kalibrowanie
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Odtwarzanie faktów
- 88
- Aktualność
- 88
- Halucynacja
- 88
- Kalibrowanie
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Odtwarzanie faktów
- 83
- Aktualność
- 82
- Halucynacja
- 83
- Kalibrowanie
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Odtwarzanie faktów
- 100
- Aktualność
- 100
- Halucynacja
- 100
- Kalibrowanie
- 100
Niezależne dowody społeczności
Punkty końcowe ze spójnymi dowodami tożsamości w bieżących testach porównawczych
Kwalifikacja społecznościowa wykorzystuje jedno najnowsze opublikowane uruchomienie wersji 1.7 na konto Model Gate dla tego samego punktu końcowego, deklarowanego modelu, protokołu i osoby oceniającej w ciągu ostatnich 30 dni. Wynik dopasowania modelu stanowi dowód tożsamości; kwalifikacja społeczna nadal wymaga spójnych niezależnych ocen tożsamości.
Żaden punkt końcowy nie osiągnął jeszcze spójności z obecnymi wzorcami społeczności.
To nie jest błąd: kwalifikacja celowo wymaga wielu niezależnych rachunków bieżącego benchmarku. Poniżej przedstawiono dowody w toku i historyczne testy porównawcze zamiast pustej tabeli.
Historyczne dowody referencyjne
claude-opus-5 · https://madclaude.cloud/v1/messages2 testy · 1 kontamodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 testy · 1 kontamodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 testy · 1 kontamodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Aktualna zasada kwalifikacji3+ niezależnych testerów · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% średnia pewność tożsamości
Metoda
Jakie testy Model Gate — i jak
Test porównawczy ma na celu mierzenie zachowań, które trudno sfałszować za pomocą samego pola nazwy modelu. Celowo oddziela jakość odpowiedzi semantycznej, przypominanie czysto parametryczne, wstrzymanie się od głosu/kalibrację i spójność tożsamości.
- 1
Stwórz przestarzałe wyzwanie
Benchmark v1.7 po raz pierwszy korzysta z banku pytań wielokrotnego użytku wokół wartości granicznej odniesienia do katalogu. Jeżeli bank nie jest w stanie pokryć żądanych miesięcy, jedno zlecenie badawcze sędziego pierwszoplanowego dostarcza brakujące wyzwanie i dodaje do banku nowe, przydatne fakty.
- 2
Wybierz pytania oparte na wynikach
Pytania przedstawiają przestarzałe wyniki, a nie zaplanowane lub przewidywalne fakty. Metadane źródłowe stanowią kontekst audytu, a niekrytyczne błędy w cytowaniu nie blokują pytania i oczekiwanej odpowiedzi, które można byłoby w inny sposób zastosować.
- 3
Wykonaj dokładnie jedno żądanie testowanego punktu końcowego
Przeglądarka wysyła wyzwanie zamkniętej księgi bezpośrednio do zewnętrznego punktu końcowego HTTPS. Zewnętrzne poświadczenie nigdy nie przechodzi przez Model Gate.
- 4
Oceniaj każdą odpowiedź semantycznie
Niepusta, pomyślna odpowiedź modelu jest wysyłana do sędziego po stronie przeglądarki w celu oceny semantycznej, nawet jeśli jej formatowanie jest niedoskonałe. Oceniający zachowuje PRZYPOMINANIE / WNIOSEK / DOMYŚLENIE / NIEZNANE, jeśli takie dowody są dostępne.
- 5
Zbuduj granicę czystego przypominania
Jedynym dowodem granicznym jest wyłącznie prawidłowe lub błędne PRZYPOMINANIE. Prawidłowe domysły i wnioski pozostają widoczne, ale nie mogą później przekroczyć granicy wiedzy modelu. Jeżeli dowody są niewystarczające, w raporcie stwierdza się taką informację, zamiast ustalać granicę.
- 6
Oceń wersjonowaną rubrykę sędziego
Nagłówek Wynik dopasowania modelu opiera się na rubryce tożsamości sędziego, a nie średniej z diagnostyki behawioralnej. Oficjalne metadane dotyczące wartości odcięcia pozostają oddzielone od obserwowanych wartości odcięcia pochodzących z przebiegów referencyjnych zaufanych administratorów.
Zgodność modelu
Główna ocena sędziego za spójność zachowania z deklarowanym modelem referencyjnym.
Dowody wiedzy
Diagnoza przypomnienia faktów i aktualności wiedzy wykazała wiedzę modelową.
Odporność na halucynacje
Przydatna jakość zachowania, ale nie dodaje punktów do tożsamości modelu.
Kalibrowanie
Szczerość zaufania pozostaje widoczna bez zawyżania dopasowania modelu.
Interpretacja i ograniczenia
Dowody behawioralne są przydatne, ale nie są dowodem kryptograficznym
Co potwierdza mocny raport
- Punkt końcowy zachowywał się spójnie z deklarowanym profilem modelu w tym teście porównawczym.
- Datowany wzorzec wycofania jest zgodny z referencyjnymi dowodami odcięcia.
- Wstrzymanie się od głosu, pewność siebie i samoopis modelu zostały ocenione wraz z zachowaniem opartym na faktach.
Czego nie może udowodnić
- Dokładnej wagi porcji, kwantyzacji ani sprzętu nie można udowodnić na podstawie samego tekstu.
- Dostawca może kierować różne żądania do różnych backendów.
- Jeden test jest dowodem na jedną obserwację, a nie na trwałą certyfikację.
- Ponieważ test działa w przeglądarce testera, tester posiadający umiejętności techniczne może modyfikować kod lub ruch po stronie klienta; raporty publiczne są dowodem behawioralnym, a nie zdalnym poświadczeniem.
Dlaczego publiczne powtarzanie ma znaczenie
- Niezależne konta zmniejszają zależność od jednego testera.
- Wersjonowane testy porównawcze pozwalają na oddzielenie zasadniczo różnych metodologii.
- Stałe raporty umożliwiają powiązanie i kontrolę zmian i nieporozumień.
FAQ
Pytania dotyczące weryfikacji modelu AI
Czy nazwa modelu API może potwierdzić, który model obsłużył żądanie?
Nie. Identyfikator modelu zwrócony przez interfejs API czarnej skrzynki to metadane dostarczone przez ten interfejs API. Model Gate traktuje to jako twierdzenie i porównuje zachowanie z wersjonowanymi referencjami zebranymi przez administratora z powtarzającymi się obserwowanymi odpowiedziami.
Jaki problem rozwiązuje weryfikacja modelu?
Pomaga zbadać podstawienie modelu, ciche zmiany routingu i inne przypadki, w których zachowanie punktu końcowego AI czarnej skrzynki może nie odpowiadać tożsamości modelu reklamowanej klientowi.
Czy wysoki wynik kryptograficznie potwierdza tożsamość modelu?
Nie. Weryfikacja modelu to dowód behawioralny, a nie zdalne poświadczenie. Sędzia ocenia zgodność behawioralną, a nie dokładną tożsamość dostawcy, a żaden próg serwera nie zmienia wyniku.
W jaki sposób sprawdzany jest próg wiedzy?
Aktywny administrator zbierający otrzymuje powtarzające się odpowiedzi na przestarzałe pytania bankowe. Gotowe odniesienie obejmuje 16 miesięcy po obu stronach stabilnego, obserwowanego WYCOFANIA. Test użytkownika wybiera 32 zapisane pytania bez badań i prosi sędziego o ocenę odchyleń w obu kierunkach.
Czy serwer przyznaje plakietkę identyfikacyjną modelu?
Nie. Bieżące raporty oparte na referencjach zawierają ocenę sędziego bez zasad oceny serwera lub progu tożsamości społeczności. Metody historyczne są oznaczone osobno.
Czy klucze zewnętrznych API są publikowane?
Nie. Zewnętrzne dane uwierzytelniające pozostają w przeglądarce testera i nigdy nie są uwzględniane w publicznym raporcie. W nowych, pełnych raportach, do których można przystąpić, zachowywany jest jedynie wyodrębniony tekst modelu niezbędny do umożliwienia audytu oceny.
Sprawdź model za punktem końcowym AI
Uruchom jedno wyzwanie po stronie przeglądarki, sprawdź cały ślad i opcjonalnie opublikuj stały raport, aby inni mogli go sprawdzić i udostępnić.