Замяна на модела
Зад рекламираното име на модела може да се предлага по-евтин или по друг начин различен модел. Висококачественият отговор сам по себе си не доказва претендираната самоличност.
AI API доверие и идентичност на модела
Проверете дали AI API действително се държи като модела, за който твърди
Крайна точка на черна кутия може да рекламира име на скъп модел, докато насочва заявки към различен, по-евтин или тихо променен бекенд. Model Gate тества твърдението поведенчески с датирани фактически проби, доказателства за прекъсване на чистото припомняне, сигнали за съгласуваност на идентичността и независим съдия с версии.
Една външна заявкаВъншният API ключ остава в браузъраПублични доклади за постоянни връзкиСъвпадение на модела Benchmark v1.7
Защо да проверявате LLM API?
Името на модела в отговор на API е иск, а не дистанционно удостоверение
Клиентите често избират AI API въз основа на рекламирания модел, цена и очаквани възможности. В API на черна кутия обаче клиентът обикновено не може да провери теглото на сервирането или решението за маршрутизиране. Прокси, дистрибутор или шлюз може да върне очаквания идентификатор на модела, докато действителното поведение идва от друг бекенд. Това създава практически проблем с доверието при заместване на модел и безшумно маршрутизиране.
Тихите промени в маршрута
Една крайна точка може да променя доставчици, варианти, квантуване или политика за маршрутизиране, без да променя публичния низ на модела. Повтарящите се публични доказателства помагат да излязат на повърхността отклонения в поведението.
Несъответствие на границата на знанията
Модел, който претендира за скорошна самоличност, може многократно да си спомня само по-старо състояние на света. Времевите сонди с чисто припомняне правят това несъответствие видимо, без да отчитат предположенията като знание.
Свързани изследвания
Академичната работа е формализирала заместването на модела в черни кутии LLM API и показва защо проверката само на изход е полезно доказателство, но не и криптографско доказателство. Следователно Model Gate отчита поведенческа последователност и изрични ограничения, вместо да изисква дистанционно удостоверяване. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Публичен регистър за проверка
Публикувайте нов тестТърсете публикувани тестове по модел или крайна точка
Всяко публикувано изпълнение има постоянен URL адрес на отчета. Новите изпълнения на пълния отчет включват извлечения отговор на тествания модел, оценка за всички допуснати въпроси, източници, основни етикети и аргументация на съдията, необходими за проверка или споделяне на резултата.
8 публикувани докладиФилтрите за търсене не се индексират; индивидуален доклад permalinks са.
97/100
CONSISTENTgpt-6-astra
Определено от оценителя: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Възпроизвеждане на факти
- —
- Актуалност
- —
- Халюцинации
- —
- Калибриране
- —
88/100
PLAUSIBLEgpt-6-astra
Определено от оценителя: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Възпроизвеждане на факти
- —
- Актуалност
- —
- Халюцинации
- —
- Калибриране
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Определено от оценителя: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Възпроизвеждане на факти
- 0
- Актуалност
- 0
- Халюцинации
- 96
- Калибриране
- 88
38/100
SUSPICIOUSclaude-opus-5
Определено от оценителя: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Възпроизвеждане на факти
- 0
- Актуалност
- 0
- Халюцинации
- 100
- Калибриране
- 100
93/100
CONSISTENTclaude-opus-4-6
Определено от оценителя: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Възпроизвеждане на факти
- 94
- Актуалност
- 92
- Халюцинации
- 94
- Калибриране
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Възпроизвеждане на факти
- 88
- Актуалност
- 88
- Халюцинации
- 88
- Калибриране
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Възпроизвеждане на факти
- 83
- Актуалност
- 82
- Халюцинации
- 83
- Калибриране
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Възпроизвеждане на факти
- 100
- Актуалност
- 100
- Халюцинации
- 100
- Калибриране
- 100
Независими обществени доказателства
Крайни точки с последователно доказателство за идентичност на текущия сравнителен анализ
Квалифицирането на общността използва едно последно публикувано изпълнение v1.7 за акаунт в Model Gate за същата крайна точка, заявен модел, протокол и оценител през последните 30 дни. Резултатът за съответствие на модела е доказателство за самоличност; квалификацията на общността все още изисква последователни независими оценки на идентичността.
Нито една крайна точка все още не е достигнала последователност на общността към текущия бенчмарк.
Това не е грешка: квалификацията умишлено изисква множество независими акаунти за текущ бенчмарк. Доказателствата в ход и историческите сравнителни тестове са показани по-долу вместо празна таблица.
Исторически еталонни доказателства
claude-opus-5 · https://madclaude.cloud/v1/messages2 тестове · 1 сметкиmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 тестове · 1 сметкиmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 тестове · 1 сметкиmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Настоящо правило за квалификация3+ независими тестери · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% средна увереност в самоличността
Метод
Какво тества Model Gate – и как
Бенчмаркът е предназначен да измерва поведение, което е трудно да се фалшифицира само с поле за име на модел. Той умишлено разделя семантичното качество на отговора, чистото припомняне, подобно на параметър, въздържането/калибрирането и последователността на идентичността.
- 1
Създайте датирано предизвикателство
Benchmark v1.7 първо използва банката с въпроси за многократна употреба около прекъсването на референтния каталог. Ако банката не може да покрие заявените месеци, една заявка за проучване на преден план предоставя липсващото предизвикателство и добавя полезни нови факти към банката.
- 2
Изберете въпроси, базирани на резултатите
Въпросите представляват датирани резултати, а не планирани или предвидими факти. Изходните метаданни са контекст на одит и некритичните дефекти в цитирането не блокират иначе използваем въпрос и очакван отговор.
- 3
Направете точно една заявка за тествана крайна точка
Браузърът изпраща предизвикателството за затворена книга директно към външната HTTPS крайна точка. Външните идентификационни данни никога не преминават през Model Gate.
- 4
Преценете всеки отговор семантично
Непразният отговор на успешен модел се изпраща на съдията от страна на браузъра за семантично оценяване дори когато форматирането му е несъвършено. Оценителят запазва ПРИПОМНЕНЕ / ИЗВОД / ПРЕДПОЛАГАНЕ / НЕИЗВЕСТНО, когато това доказателство е налично.
- 5
Изградете граница на чистото припомняне
Само правилен или грешен RECALL е доказателство за прекъсване. Правилните предположения и изводи остават видими, но не могат да прокарат границата на знанието на модела по-късно. Ако доказателствата са недостатъчни, докладът го казва, вместо да измисля прекъсване.
- 6
Резултат с версия на съдийска рубрика
Резултатът за съвпадение на модела на заглавието използва рубриката за идентичност на съдията, а не средна стойност на диагностиката на поведението. Официалните метаданни за прекъсване остават отделни от наблюдаваното прекъсване, получено от референтни изпълнения на доверен администратор.
Съвпадение на модела
Заглавна оценка за последователност на поведението с заявения референтен модел.
Доказателство за знания
Фактическото припомняне и актуалността на знанията диагностицират демонстрирани знания за модела.
Устойчивост на халюцинации
Полезно качество на поведение, но не добавя точки към идентичността на модела.
Калибриране
Доверието, честността остава видима, без да се раздува съответствието на модела.
Тълкуване и ограничения
Поведенческите доказателства са полезни, но не са криптографски доказателства
Какво подкрепя един силен доклад
- Крайната точка се държеше последователно с заявения профил на модела при този бенчмарк.
- Датираният модел на извикване е съвместим с референтните гранични доказателства.
- Въздържането, увереността и самооценката на модела бяха оценени заедно с фактическото поведение.
Това, което не може да докаже
- Точните тегла на сервиране, квантуване или хардуер не могат да бъдат доказани само от текст.
- Доставчикът може да насочва различни заявки към различни бекендове.
- Един тест е доказателство за едно наблюдение, а не постоянно удостоверяване.
- Тъй като тестът се изпълнява в браузъра на тестера, технически способен тестер може да промени кода или трафика от страна на клиента; публичните доклади са поведенчески доказателства, а не дистанционно удостоверяване.
Защо публичното повторение има значение
- Независимите акаунти намаляват зависимостта от един тестер.
- Версионните бенчмаркове държат отделно различни методологии.
- Постоянните доклади правят промените и несъгласията свързани и проверени.
FAQ
Въпроси относно проверката на AI модел
Може ли име на модел на API да докаже кой модел е обслужил заявката?
Не. Идентификаторът на модела, върнат от API на черна кутия, е метаданни, предоставени от този API. Model Gate го третира като претенция и сравнява поведението с версионна препратка, събрана от администратора, с повтарящи се наблюдавани отговори.
Какъв проблем решава проверката на модела?
Той помага за разследване на заместване на модела, безшумни промени в маршрутизирането и други случаи, при които поведението на крайната точка на изкуствен интелект на черна кутия може да не съвпада с идентичността на модела, рекламирана на клиента.
Високият резултат доказва ли криптографски идентичността на модела?
Не. Проверката на модела е поведенческо доказателство, а не дистанционно удостоверяване. Съдията оценява поведенческата кореспонденция, а не точната идентичност на доставчика и нито един праг на сървъра не променя резултата.
Как се тества границата на знанията?
Активиран администраторски колектор получава повтарящи се отговори на датирани банкови въпроси. Готовата справка обхваща 16 месеца от двете страни на стабилно наблюдавано ПРИПОМНЕНЕ. Потребителски тест избира 32 запазени въпроса без проучване и моли съдията да оцени отклоненията в двете посоки.
Сървърът дава ли значка за идентичност на модела?
Не. Настоящите отчети, базирани на референции, запазват оценката на съдията без правила за оценка на сървъра или праг за идентичност на общността. Историческите методи са обозначени отделно.
Публикувани ли са външни API ключове?
Не. Външните идентификационни данни остават в браузъра на тестера и никога не се включват в публичен отчет. Новите пълни отчети за включване запазват само извлечения текст на модела, необходим, за да може оценката да може да се проверява.
Проверете модела зад крайна точка на AI
Изпълнете едно предизвикателство от страна на браузъра, проверете пълното проследяване и по избор публикувайте постоянен отчет, който другите да проверяват и споделят.