Подмена модели
Под рекламируемым названием модели может быть указана более дешевая или другая модель. Качественный ответ сам по себе не доказывает заявленную личность.
Доверие к API ИИ и определение модели
Проверьте, соответствует ли поведение модели за API заявленной модели
Конечная точка «черного ящика» может рекламировать дорогое название модели, одновременно перенаправляя запросы на другой, более дешевый или незаметно измененный бэкэнд. Model Gate проверяет утверждение на поведенческом уровне, используя датированные фактические проверки, доказательства, подтверждающие чистое припоминание, сигналы согласованности личности и независимого судью с версией.
Один внешний запросКлюч внешнего API остаётся в браузереПубличные отчёты с постоянными ссылкамиНабор тестов v1.7: соответствие модели
Зачем проверять API языковой модели?
Название модели в ответе API — это заявление, а не удалённое подтверждение подлинности
Клиенты часто выбирают AI API на основе рекламируемой модели, цены и ожидаемых возможностей. Однако в API «черного ящика» клиент обычно не может проверить вес обслуживания или решение о маршрутизации. Прокси, реселлер или шлюз могут возвращать ожидаемый идентификатор модели, в то время как фактическое поведение исходит от другого бэкэнда. Это создает практическую проблему подмены моделей и молчаливой маршрутизации.
Незаметные изменения маршрутизации
Конечная точка может менять поставщиков, варианты, политику квантования или маршрутизации без изменения строки общедоступной модели. Повторяющиеся публичные доказательства помогают выявить поведенческий дрейф.
Несоответствие границы знаний
Модель, претендующая на недавнюю идентичность, может неоднократно напоминать только более старое состояние мира. Темпоральные зонды с чистым воспоминанием делают это несоответствие видимым, не считая догадок знанием.
Связанные исследования
Академическая работа формализовала замену моделей в API-интерфейсах LLM «черного ящика» и показывает, почему проверка только вывода является полезным доказательством, но не криптографическим доказательством. Таким образом, Model Gate сообщает о поведенческой согласованности и явных ограничениях, а не требует удаленной аттестации. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Публичный реестр проверок
Опубликовать новую проверкуПоиск опубликованных проверок по модели или эндпоинту
У каждого опубликованного запуска есть постоянный URL-адрес отчета. Новые прогоны полных отчетов включают извлеченные ответы протестированной модели, оценки всех принятых вопросов, источники, базовые метки и обоснование оценки, необходимое для проверки или публикации результата.
8 опубликованных отчётовСтраницы с фильтрами поиска не индексируются; постоянные страницы отдельных отчётов индексируются.
97/100
CONSISTENTgpt-6-astra
Определено оценщиком: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Знание фактов
- —
- Актуальность знаний
- —
- Галлюцинации
- —
- Калибровка уверенности
- —
88/100
PLAUSIBLEgpt-6-astra
Определено оценщиком: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Знание фактов
- —
- Актуальность знаний
- —
- Галлюцинации
- —
- Калибровка уверенности
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Определено оценщиком: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Знание фактов
- 0
- Актуальность знаний
- 0
- Галлюцинации
- 96
- Калибровка уверенности
- 88
38/100
SUSPICIOUSclaude-opus-5
Определено оценщиком: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Знание фактов
- 0
- Актуальность знаний
- 0
- Галлюцинации
- 100
- Калибровка уверенности
- 100
93/100
CONSISTENTclaude-opus-4-6
Определено оценщиком: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Знание фактов
- 94
- Актуальность знаний
- 92
- Галлюцинации
- 94
- Калибровка уверенности
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Знание фактов
- 88
- Актуальность знаний
- 88
- Галлюцинации
- 88
- Калибровка уверенности
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Знание фактов
- 83
- Актуальность знаний
- 82
- Галлюцинации
- 83
- Калибровка уверенности
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Знание фактов
- 100
- Актуальность знаний
- 100
- Галлюцинации
- 100
- Калибровка уверенности
- 100
Независимые данные сообщества
Эндпоинты с согласованными данными о соответствии модели в текущей версии тестов
Для квалификации сообщества используется один последний опубликованный запуск версии 1.7 для каждой учетной записи Model Gate для одной и той же конечной точки, заявленной модели, протокола и оценщика в течение последних 30 дней. Оценка соответствия модели является доказательством идентичности; квалификация сообщества по-прежнему требует последовательной независимой оценки личности.
Пока ни у одного эндпоинта нет согласованных результатов сообщества по текущей версии тестов.
Это не ошибка: для квалификации намеренно требуется несколько независимых учетных записей текущих эталонов. Ниже представлены доказательства и исторические результаты тестов, а не пустая таблица.
Данные прошлых версий тестов
claude-opus-5 · https://madclaude.cloud/v1/messages2 проверок · 1 аккаунтовmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 проверок · 1 аккаунтовmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 проверок · 1 аккаунтовmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Текущий критерий включения3+ независимых участников проверки · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% средняя уверенность в определении модели
Метод
Что тестирует Model Gate и как
Тест предназначен для измерения поведения, которое сложно имитировать с помощью одного только поля имени модели. Он намеренно разделяет семантическое качество ответа, чистое параметрическое запоминание, воздержание/калибровку и согласованность идентичности.
- 1
Создание задания с привязкой к датам
Benchmark v1.7 впервые использует банк вопросов многократного использования вокруг ограничения ссылок на каталог. Если банк не может покрыть запрошенные месяцы, один исследовательский запрос судьи на переднем плане дополняет недостающую задачу и добавляет в банк новые полезные факты.
- 2
Выбор вопросов о фактических результатах событий
Вопросы представляют собой датированные результаты, а не запланированные или предсказуемые факты. Исходные метаданные представляют собой контекст аудита, и некритические дефекты цитирования не блокируют вопрос, который в противном случае можно было бы использовать, и ожидаемый ответ.
- 3
Ровно один запрос к проверяемому эндпоинту
Браузер отправляет запрос закрытой книги непосредственно на внешнюю конечную точку HTTPS. Внешние учетные данные никогда не проходят через Model Gate.
- 4
Оценка смысла каждого ответа
Непустой успешный ответ модели отправляется эксперту на стороне браузера для семантической оценки, даже если его форматирование несовершенно. Оценщик сохраняет НАПОМНИТЬ/ВЫВОД/УГАДАТЬ/НЕИЗВЕСТНО, где это свидетельство доступно.
- 5
Определение границы знаний по ответам без подсказок
Только правильный или неправильный RECALL является доказательством отсечения. Правильные предположения и выводы остаются видимыми, но не могут в дальнейшем расширить границы знаний модели. Если доказательств недостаточно, об этом говорится в отчете, а не придумывается ограничение.
- 6
Оценивание по критериям с фиксированной версией
В заголовке оценки соответствия модели используется критерий идентичности судьи, а не среднее значение диагностики поведения. Официальные метаданные порогового значения остаются отдельными от наблюдаемого порогового значения, полученного на основе эталонных запусков доверенных администраторов.
Соответствие модели
Итоговая оценка того, насколько поведение соответствует заявленной эталонной модели.
Данные о знаниях модели
Показатели «Знание фактов» и «Актуальность знаний» характеризуют знания, продемонстрированные моделью.
Устойчивость к галлюцинациям
Полезная характеристика качества поведения, которая не повышает оценку соответствия модели.
Калибровка уверенности
Честность заявленной уверенности показывается отдельно и не повышает оценку соответствия модели.
Интерпретация и ограничения
Данные о поведении полезны, но не являются криптографическим доказательством
Что подтверждает убедительный отчёт
- В этом наборе тестов поведение эндпоинта соответствовало профилю заявленной модели.
- Ответы на вопросы о датированных событиях согласуются с данными об эталонной границе знаний.
- Отказы отвечать, заявленная уверенность и сведения модели о самой себе оценивались вместе с ответами на фактические вопросы.
Чего отчёт не может доказать
- По одному тексту нельзя достоверно установить точные веса работающей модели, способ квантования или используемое оборудование.
- Поставщик может направлять разные запросы на разные серверы.
- Одна проверка отражает одно наблюдение, а не даёт бессрочную сертификацию.
- Проверка выполняется в браузере участника, поэтому технически подготовленный участник может изменить клиентский код или трафик. Публичные отчёты содержат данные о поведении, а не удалённое подтверждение подлинности модели.
Зачем нужны повторные публичные проверки
- Проверки с независимых аккаунтов снижают зависимость от одного участника.
- Версионирование наборов тестов позволяет не смешивать существенно разные методики.
- Постоянные отчёты позволяют ссылаться на изменения и расхождения и проверять их.
FAQ
Вопросы о проверке моделей ИИ
Может ли название модели API доказать, какая модель обслужила запрос?
Нет. Идентификатор модели, возвращаемый API «черного ящика», представляет собой метаданные, предоставляемые этим API. Model Gate рассматривает это как утверждение и сравнивает поведение с версией, собранной администратором, с повторяющимися наблюдаемыми ответами.
Какую проблему решает проверка модели?
Это помогает расследовать подмену модели, изменения автоматической маршрутизации и другие случаи, когда поведение конечной точки искусственного интеллекта «черного ящика» может не соответствовать идентификатору модели, объявленному клиенту.
Доказывает ли высокий балл криптографически идентичность модели?
Нет. Проверка модели — это поведенческое свидетельство, а не удаленная аттестация. Судья оценивает соответствие поведения, а не точную идентификацию поставщика, и никакие пороговые значения сервера не меняют результат.
Как проверяется уровень знаний?
Включенный администратор-сборщик получает повторяющиеся ответы на устаревшие банковские вопросы. Готовая ссылка охватывает 16 месяцев по обе стороны стабильного наблюдаемого RECALL. Пользовательский тест выбирает 32 сохраненных вопроса без исследования и просит судью оценить отклонения в обе стороны.
Выдает ли сервер значок, удостоверяющий личность модели?
Нет. Текущие отчеты, основанные на ссылках, сохраняют судейскую оценку без правил оценки сервера или порога идентичности сообщества. Исторические методы отмечены отдельно.
Публикуются ли внешние ключи API?
Нет. Внешние учетные данные остаются в браузере тестера и никогда не включаются в общедоступный отчет. В новых полных отчетах с возможностью подписки сохраняется только извлеченный текст модели, необходимый для проверки возможности проверки.
Проверьте, какая модель стоит за API
Выполните одно тестовое задание в браузере, изучите полный журнал и при необходимости опубликуйте отчёт с постоянной ссылкой, чтобы другие могли его проверить и поделиться им.