OpenAI lanzó GPT-6.1 Terra a través de las API Responses y Chat Completions el 26 de octubre, agregando un modelo de menor precio dirigido a cargas de trabajo que incluyen el uso de computadoras. La tarifa estándar API es de 1 dólar por millón de tokens de entrada, 0,05 dólares por millón de tokens de entrada almacenados en caché y 5 dólares por millón de tokens de salida.
Terra también se está implementando en ChatGPT Work y Codex, pero no está disponible en la experiencia estándar ChatGPT. Esa distinción es importante para las empresas que comunican el acceso a los clientes: una lista API, el lanzamiento de un producto en el lugar de trabajo y la disponibilidad en la interfaz de chat del consumidor son canales de distribución separados.
El lanzamiento crea una nueva OpenAI opción de enrutamiento entre modelos económicos utilizados para clasificación o extracción y modelos de razonamiento más costosos. También presenta a los operadores de pasarela un problema operativo familiar: el precio principal es sólo el comienzo del trabajo de integración.
El precio de Terra depende de la forma de la carga de trabajo
A las tarifas publicadas, los tokens de salida cuestan cinco veces más que los tokens de entrada normales. La entrada en caché tiene un precio del 5% de la tarifa de entrada estándar. Por lo tanto, las aplicaciones que envían repetidamente instrucciones estables, descripciones de herramientas u otro contexto reutilizable podrían tener un perfil de costos sustancialmente diferente al de las aplicaciones que generan grandes respuestas o cambian continuamente sus mensajes.
Esto es especialmente relevante para los agentes que utilizan computadoras. Estos sistemas pueden pasar por múltiples ciclos de observación, razonamiento y acción antes de completar una tarea. Incluso cuando el precio de los insumos del modelo es bajo, los resultados detallados o los bucles de herramientas largos pueden aumentar la factura total. Por lo tanto, la tarifa anunciada por OpenAI debe evaluarse en función del costo de la tarea completa, no solo del precio de la primera solicitud.
Los equipos que utilizan IA unificada API facturación necesitarán una contabilidad separada para las entradas ordinarias, las entradas almacenadas en caché y las salidas. Colapsar esas categorías en una cifra simbólica combinada oscurecería tanto los cargos a los clientes como los márgenes de entrada. Las evaluaciones deben registrar los tokens y el costo de toda la ejecución del agente, incluidos los pasos y reintentos fallidos.
Las puertas de enlace necesitan actualizaciones de metadatos, políticas y compatibilidad
Agregar Terra a una puerta de enlace multimodelo API para equipos requiere algo más que registrar su ID de modelo. Los registros de catálogo necesitan las tres tasas de token, superficies API admitidas, metadatos de capacidad y restricciones regionales. Los sistemas de enrutamiento también necesitan distinguir si una carga de trabajo se beneficia del almacenamiento en caché rápido y si es probable que produzca suficientes resultados o iteraciones de herramientas para borrar la aparente ventaja en el precio de los insumos.
OpenAI dice que la residencia de inferencia de los EAU no es compatible con este modelo. Una puerta de enlace que promete manejo regional no puede tratar a Terra como un sustituto intercambiable de otro modelo OpenAI cuando un inquilino requiere residencia en los EAU. La restricción debe ser visible en el descubrimiento de modelos, aplicarse en la política de enrutamiento y conservarse en los registros de solicitudes para que los operadores puedan explicar por qué una solicitud fue bloqueada o enviada a otro lugar.
Los revendedores enfrentan un problema de comunicación adicional. Una plataforma de revendedor AI API no debe implicar que la suscripción ChatGPT de un cliente incluya acceso a Terra API, o que la disponibilidad API signifique que el modelo se puede seleccionar en el estándar ChatGPT. Los catálogos de productos y los informes de uso de cara al cliente deben identificar el canal de acceso y el modelo efectivo por separado.
Para Model Gate y servicios similares compatibles con OpenAI, la lista de verificación de lanzamiento práctica incluye agregar el modelo, aplicar precios con reconocimiento de caché, exponer la limitación de residencia y probar el comportamiento de Respuestas y Finalizaciones de chat. Es posible que también sea necesario revisar las reglas de márgenes si los tokens almacenados en caché se transfieren a costo del proveedor, mientras que la entrada y la salida ordinarias tienen márgenes diferentes.
Las afirmaciones de rendimiento aún necesitan pruebas independientes
OpenAI ha informado de mejoras en la capacidad, la velocidad y las alucinaciones de Terra, pero no todas esas afirmaciones se han reproducido de forma independiente. La comparación correcta también variará según la carga de trabajo. Un modelo que sea económico para respuestas estructuradas cortas puede ser menos atractivo para un agente que emite razonamientos extensos, reintenta acciones o lleva a cabo largas sesiones de uso de la computadora.
Los desarrolladores deberían comparar Terra con indicaciones, herramientas y límites de finalización representativos en lugar de transferir los resultados de las pruebas de chat convencionales. Las mediciones útiles incluyen la tasa de finalización de tareas, la latencia de un extremo a otro, la frecuencia de visitas a la caché, el volumen de salida, el número de ciclos de herramientas y el costo total por tarea exitosa.
Por lo tanto, la importancia inmediata de Terra no es que sea universalmente más barata. Ofrece a API compradores otra OpenAI banda de precios y ofrece a los sistemas de enrutamiento otro conjunto de compensaciones para modelar. La reducción de los costos de producción dependerá del comportamiento del almacenamiento en caché, la duración de la respuesta, la eficiencia del bucle del agente y las políticas regionales adjuntas a cada solicitud.