Google ha introducido Gemini Decisions API, un nuevo punto final para aplicaciones que necesitan respuestas limitadas en lugar de prosa generada. Lanzado el 11 de noviembre, el API puede evaluar hasta 1000 preguntas de sí o no, de opción múltiple o de puntuación de rúbricas en una sola solicitud.
El punto final acepta entradas de texto, imágenes, audio, vídeo y PDF dentro de un límite de entrada de 256 000 tokens. En lugar de devolver un ensayo o una respuesta de chat, produce probabilidades y puntuaciones de confianza que el software puede utilizar para clasificación, clasificación, comprobaciones de políticas y enrutamiento. Google dice que las solicitudes pueden completarse con una latencia de extremo a extremo de 150 a 250 milisegundos, aunque esa cifra de rendimiento aún no se ha establecido de forma independiente en todas las cargas de trabajo de producción.
Una API superficie separada para decisiones
El lanzamiento tiene más consecuencias que agregar otro modelo Gemini al catálogo de un proveedor. La mayoría de las integraciones compatibles con OpenAI asumen una solicitud generativa: el cliente envía mensajes o elementos de entrada, el modelo devuelve texto o salida estructurada y el proveedor cobra por alguna combinación de tokens de entrada y salida.
Gemini Decisions utiliza un contrato diferente. Una aplicación proporciona material fuente y un conjunto limitado de preguntas, luego recibe evidencia numérica para cada respuesta posible. Ese diseño es adecuado para tareas como decidir si el contenido debe ingresar a una cola de revisión, seleccionar un modelo para una solicitud, calificar el contexto recuperado o aplicar una rúbrica de puntuación documentada.
Los desarrolladores podrían aproximarse a estos flujos de trabajo con la generación de texto normal, pero las respuestas generadas requieren análisis y pueden introducir texto que la aplicación no necesita. Un criterio de valoración de decisión diseñado específicamente proporciona una interfaz más explícita: el resultado significativo es la opción seleccionada y su probabilidad o confianza asociada, no un pasaje de prosa.
El precio cambia el modelo de medición
Google indica el precio en 0,10 USD por millón de tokens de entrada y no factura los tokens de salida. Se trata de un alejamiento sustancial de la contabilidad input-output utilizada por los modelos de generación convencionales. También significa que una solicitud puede devolver datos comercialmente importantes aunque su recuento de tokens de salida facturables sea cero.
Por lo tanto, los operadores de puertas de enlace no pueden confiar únicamente en los totales de tokens. Los registros de uso deben preservar el tipo de carga de trabajo, el volumen de entrada, la cantidad de preguntas y los metadatos de respuesta relevantes. Los sistemas que ofrecen IA unificada API facturación también pueden necesitar una regla de hoja de tarifas separada para que un valor de token de salida cero no se confunda con un registro de uso faltante o incompleto.
El procesamiento por lotes crea otra cuestión operativa. Admitir hasta 1000 preguntas en una sola solicitud puede reducir la sobrecarga de la red, pero las empresas aún tendrán que decidir cómo se atribuye ese trabajo internamente. Una llamada API puede representar cientos de comprobaciones de moderación, decisiones de enrutamiento o puntuaciones de documentos realizadas para diferentes productos o clientes.
La compatibilidad va más allá de cambiar el nombre de un modelo
El modelo está disponible a través de Gemini API en Google AI Studio. Para los equipos que llamen a Google directamente, la adopción requerirá un cliente que comprenda sus estructuras de solicitud y respuesta orientadas a la toma de decisiones. Para una puerta de enlace multimodelo API para equipos, exponer el punto final como si fuera un modelo de chat normal ocultaría un comportamiento importante y podría hacer que el manejo de errores, los análisis y la facturación sean ambiguos.
Un diseño de puerta de enlace más limpio identificaría las decisiones como una clase de carga de trabajo distinta. Luego, la política de enrutamiento podría enviar trabajo de clasificación y puntuación limitado al nuevo punto final y al mismo tiempo reservar modelos generativos para solicitudes que realmente requieren salida de lenguaje. Los controles de admisión también deben validar el recuento de preguntas, los medios admitidos y el tamaño de entrada antes de enviar una solicitud.
Los datos de confianza merecen un tratamiento cuidadoso. Una puntuación es útil para umbrales y reglas de escalamiento, pero no es prueba de que una decisión sea correcta o esté calibrada para cada dominio. Los equipos que utilicen el API para políticas importantes o flujos de trabajo de cumplimiento necesitarán sus propias evaluaciones, pruebas de umbral y rutas de revisión humana en lugar de adoptar un límite universal.
Lo que aún no se ha demostrado
El anuncio deGoogle establece la forma de API, el precio publicado y la latencia declarada, pero la evidencia independiente sobre la disponibilidad de producción y el rendimiento sigue siendo limitada. La latencia en el mundo real también dependerá del tamaño de la carga útil, el procesamiento de medios, la geografía y el volumen de solicitudes.
Por lo tanto, la tarea de ingeniería inmediata es una evaluación controlada en lugar de un reemplazo amplio de los clasificadores existentes. Los desarrolladores deben probar entradas multimodales representativas, comparar puntuaciones de confianza con resultados conocidos y verificar cómo se comportan los errores y los resultados parciales en grandes lotes de preguntas. Los equipos de puerta de enlace y plataforma deben confirmar además que sus registros puedan distinguir una solicitud de decisión de una generación antes de que el punto final esté disponible para los clientes.