Sustitución de modelo
Es posible que se ofrezca un modelo más económico o diferente detrás del nombre del modelo anunciado. Una respuesta de alta calidad por sí sola no prueba la identidad declarada.
Confianza de la API de IA e identidad del modelo
Verificar si una API de IA realmente se comporta como el modelo que afirma
Un punto final de caja negra puede anunciar un nombre de modelo costoso mientras enruta las solicitudes a un servidor diferente, más económico o modificado silenciosamente. Model Gate pone a prueba la afirmación desde el punto de vista conductual con investigaciones fácticas fechadas, pruebas de corte de recuerdo puro, señales de coherencia de identidad y un juez independiente versionado.
Una solicitud externaLa clave API externa permanece en el navegadorInformes públicos de enlaces permanentesCoincidencia del modelo de referencia v1.7
¿Por qué verificar una API LLM?
El nombre del modelo en una respuesta API es un reclamo, no una certificación remota
Los clientes suelen elegir una API de IA en función del modelo anunciado, el precio y la capacidad esperada. Sin embargo, en una API de caja negra, el cliente normalmente no puede inspeccionar los pesos de las porciones o la decisión de ruta. Un proxy, revendedor o puerta de enlace puede devolver el identificador de modelo esperado mientras que el comportamiento real proviene de otro backend. Esto crea un problema práctico de confianza en la sustitución de modelos y el enrutamiento silencioso.
Cambios de ruta silenciosos
Un punto final puede cambiar proveedores, variantes, cuantificación o política de enrutamiento sin cambiar la cadena del modelo público. La evidencia pública repetida ayuda a sacar a la luz la desviación del comportamiento.
Discrepancia en la fecha límite de conocimiento
Un modelo que reivindica una identidad reciente puede recordar repetidamente sólo un estado más antiguo del mundo. Las sondas temporales de recuerdo puro hacen visible ese desajuste sin contar las conjeturas como conocimiento.
Investigación relacionada
El trabajo académico ha formalizado la sustitución de modelos en las API de LLM de caja negra y muestra por qué la verificación de solo salida es una evidencia útil pero no una prueba criptográfica. Por lo tanto, Model Gate informa coherencia de comportamiento y limitaciones explícitas en lugar de afirmar una certificación remota. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Registro público de verificación
Publicar una nueva pruebaBuscar pruebas publicadas por modelo o punto final
Cada ejecución publicada tiene una URL de informe permanente. Las nuevas ejecuciones de informes completos incluyen la respuesta extraída del modelo probado, la calificación de todas las preguntas admitidas, las fuentes, las etiquetas básicas y el razonamiento de los jueces necesarios para auditar o compartir el resultado.
8 informes publicadosLos filtros de búsqueda no están indexados; Los enlaces permanentes de los informes individuales son.
97/100
CONSISTENTgpt-6-astra
Determinado por el evaluador: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Recuerdo de hechos
- —
- Actualidad
- —
- Alucinación
- —
- Calibración
- —
88/100
PLAUSIBLEgpt-6-astra
Determinado por el evaluador: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Recuerdo de hechos
- —
- Actualidad
- —
- Alucinación
- —
- Calibración
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Determinado por el evaluador: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Recuerdo de hechos
- 0
- Actualidad
- 0
- Alucinación
- 96
- Calibración
- 88
38/100
SUSPICIOUSclaude-opus-5
Determinado por el evaluador: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Recuerdo de hechos
- 0
- Actualidad
- 0
- Alucinación
- 100
- Calibración
- 100
93/100
CONSISTENTclaude-opus-4-6
Determinado por el evaluador: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Recuerdo de hechos
- 94
- Actualidad
- 92
- Alucinación
- 94
- Calibración
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Recuerdo de hechos
- 88
- Actualidad
- 88
- Alucinación
- 88
- Calibración
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Recuerdo de hechos
- 83
- Actualidad
- 82
- Alucinación
- 83
- Calibración
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Recuerdo de hechos
- 100
- Actualidad
- 100
- Alucinación
- 100
- Calibración
- 100
Evidencia comunitaria independiente
Puntos finales con evidencia de identidad consistente con el punto de referencia actual
La calificación de la comunidad utiliza una última ejecución v1.7 publicada por cuenta de Model Gate para el mismo punto final, modelo reclamado, protocolo y evaluador durante los últimos 30 días. La puntuación de Model Match es una prueba de identidad; La calificación de la comunidad todavía requiere evaluaciones de identidad independientes y consistentes.
Ningún punto final ha alcanzado todavía la coherencia de la comunidad de referencia actual.
Eso no es un error: la calificación requiere intencionalmente múltiples cuentas independientes de referencia actual. La evidencia en progreso y las ejecuciones de referencia históricas se muestran a continuación en lugar de una tabla vacía.
Evidencia de referencia histórica
claude-opus-5 · https://madclaude.cloud/v1/messages2 pruebas · 1 cuentasmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 pruebas · 1 cuentasmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 pruebas · 1 cuentasmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Regla de calificación actual3+ probadores independientes · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% confianza promedio en la identidad
Método
Qué pruebas Model Gate y cómo
El punto de referencia está diseñado para medir comportamientos que son difíciles de falsificar únicamente con un campo de nombre de modelo. Separa deliberadamente la calidad semántica de la respuesta, el recuerdo puro de parámetros, la abstención/calibración y la coherencia de la identidad.
- 1
Construye un desafío anticuado
Benchmark v1.7 utiliza por primera vez el banco de preguntas reutilizable alrededor del límite de referencia del catálogo. Si el banco no puede cubrir los meses solicitados, una solicitud de investigación de un juez de primer plano proporciona el desafío que falta y agrega nuevos datos utilizables al banco.
- 2
Seleccione preguntas basadas en resultados
Las preguntas representan resultados anticuados en lugar de hechos programados o predecibles. Los metadatos de origen son contexto de auditoría y los defectos de citas no críticos no bloquean una pregunta que de otro modo sería utilizable y la respuesta esperada.
- 3
Realice exactamente una solicitud de punto final probado
El navegador envía el desafío de libro cerrado directamente al punto final HTTPS externo. La credencial externa nunca pasa por Model Gate.
- 4
Juzga cada respuesta semánticamente
Una respuesta de modelo exitosa no vacía se envía al juez del lado del navegador para su calificación semántica incluso cuando su formato es imperfecto. El evaluador conserva RECUERDO / INFERENCIA / ADIVINA / DESCONOCIDO cuando esa evidencia esté disponible.
- 5
Construya un límite de recuerdo puro
Sólo el RECUERDO correcto o incorrecto es evidencia de corte. Las conjeturas e inferencias correctas siguen siendo visibles, pero no pueden ampliar los límites del conocimiento del modelo más adelante. Si las pruebas son insuficientes, el informe lo dice en lugar de inventar un límite.
- 6
Califique con una rúbrica de juez versionada
La puntuación principal de Model Match utiliza la rúbrica de identidad del juez, no un promedio de diagnósticos de comportamiento. Los metadatos de corte oficiales permanecen separados del límite observado derivado de ejecuciones de referencia de administradores confiables.
Coincidencia del modelo
Puntuación del juez principal por la coherencia del comportamiento con el modelo de referencia reclamado.
evidencia de conocimiento
El recuerdo de hechos y la actualidad del conocimiento diagnostican el conocimiento del modelo demostrado.
Resistencia a las alucinaciones
Calidad de comportamiento útil, pero no añade puntos a la identidad del modelo.
Calibración
La confianza y la honestidad se mantienen visibles sin inflar la coincidencia del modelo.
Interpretación y limitaciones
La evidencia conductual es útil, pero no es una prueba criptográfica
Qué informe tan sólido respalda
- El punto final se comportó de manera consistente con el perfil del modelo reclamado en este punto de referencia.
- El patrón de recuperación fechado es compatible con la evidencia de corte de referencia.
- La abstención, la confianza y el autoinforme del modelo se evaluaron junto con el comportamiento fáctico.
Lo que no puede probar
- Los pesos exactos de las porciones, la cuantificación o el hardware no se pueden comprobar únicamente a partir del texto.
- Un proveedor puede enrutar diferentes solicitudes a diferentes servidores.
- Una prueba es evidencia de una observación, no una certificación permanente.
- Debido a que la prueba se ejecuta en el navegador del evaluador, un evaluador técnicamente capacitado puede modificar el código o el tráfico del lado del cliente; Los informes públicos son evidencia de comportamiento, no una certificación remota.
Por qué es importante la repetición pública
- Las cuentas independientes reducen la dependencia de un evaluador.
- Los puntos de referencia versionados mantienen separadas las metodologías materialmente diferentes.
- Los informes permanentes hacen que los cambios y desacuerdos sean vinculables y auditables.
FAQ
Preguntas sobre la verificación del modelo de IA
¿Puede el nombre de un modelo API demostrar qué modelo atendió la solicitud?
No. Un identificador de modelo devuelto por una API de caja negra son metadatos proporcionados por esa API. Model Gate lo trata como un reclamo y compara el comportamiento con una referencia versionada recopilada por el administrador con respuestas repetidas observadas.
¿Qué problema aborda la Verificación de Modelos?
Ayuda a investigar la sustitución de modelos, cambios de enrutamiento silenciosos y otros casos en los que el comportamiento de un punto final de IA de caja negra puede no coincidir con la identidad del modelo anunciada al cliente.
¿Una puntuación alta prueba criptográficamente la identidad del modelo?
No. La verificación del modelo es evidencia de comportamiento, no una certificación remota. El juez evalúa la correspondencia conductual, no la identidad exacta del proveedor, y ningún umbral del servidor cambia el resultado.
¿Cómo se prueba el límite de conocimiento?
Un recopilador administrador habilitado obtiene respuestas repetidas a preguntas bancarias fechadas. Una referencia lista abarca 16 meses en ambos lados del RECUERDO observado estable. Una prueba de usuario selecciona 32 preguntas guardadas sin investigación y pide al juez que evalúe las desviaciones en ambas direcciones.
¿El servidor otorga una insignia de identidad de modelo?
No. Los informes actuales basados en referencias conservan la evaluación del juez sin reglas de puntuación del servidor ni un umbral de identidad comunitaria. Los métodos históricos están etiquetados por separado.
¿Se publican claves API externas?
No. La credencial externa permanece en el navegador del evaluador y nunca se incluye en un informe público. Los nuevos informes completos de inclusión conservan solo el texto del modelo extraído necesario para que la evaluación sea auditable.
Compruebe el modelo detrás de un punto final de IA
Ejecute una prueba del lado del navegador, inspeccione el seguimiento completo y, opcionalmente, publique un informe permanente para que otros lo auditen y lo compartan.