Cloudflare ha agregado tasas de token de lectura y escritura de caché a la contabilidad de costos personalizada de AI Gateway, un pequeño elemento de registro de cambios con grandes consecuencias de facturación para los equipos que revenden, enrutan o concilian el uso del modelo entre proveedores.
La actualización del 9 de septiembre significa que los desarrolladores ahora pueden pasar los valores per_cache_read_token y per_cache_write_token en el encabezado cf-aig-custom-cost. Cuando cualquiera de las tasas específicas de caché está presente, Cloudflare dice que AI Gateway activa el precio del token de caché y tiene en cuenta las diferencias de proveedores para que el mismo uso de caché no se cuente dos veces.
Eso suena limitado. No lo es. El precio del caché se ha convertido en una de las partes más difíciles de la facturación unificada de API de IA, especialmente porque los proveedores utilizan diferentes nombres, unidades y reglas de facturación para el contexto reutilizado. Tratar cada token almacenado en caché como un token de entrada normal puede ser simple, pero puede ser lo suficientemente incorrecto como para borrar el margen del revendedor o engañar a los clientes sobre qué cargas de trabajo son realmente costosas.
Qué cambió
AI Gateway ya permitía adjuntar datos de costos personalizados a las solicitudes, brindando a los equipos una forma de representar tarifas negociadas o libros de precios internos en lugar de depender únicamente de los precios de los proveedores públicos. El nuevo cambio extiende ese mecanismo a categorías de tokens específicas de caché.
En la práctica, un operador de puerta de enlace ahora puede decirle a Cloudflare no solo cuánto cuesta un token de entrada o salida, sino también cuánto cuesta una lectura o escritura de caché. Esa distinción es importante porque los proveedores valoran cada vez más el almacenamiento en caché rápido como su propia capa económica. Una escritura en caché puede costar más que una lectura en caché. Una lectura de caché puede ser dramáticamente más barata que una entrada nueva. Algunos proveedores pueden exponer la creación y recuperación de caché de manera diferente en los registros de uso.
La nota de Cloudflare de que maneja las diferencias de proveedores para evitar el doble conteo también es importante. Los campos de caché no siempre están claramente separados de los totales de tokens de entrada. Si un sistema de facturación agrega ingenuamente tokens de caché además del uso de insumos informado por el proveedor, puede cobrar de más a los clientes o inflar los costos internos. Si ignora los campos de caché, puede subestimar el costo de las aplicaciones de contexto largo que frecuentemente crean entradas de caché.
Por qué ahora es importante la contabilidad de caché
El almacenamiento en caché rápido solía ser un detalle de optimización. Para muchas cargas de trabajo de producción, ahora es parte de la arquitectura de precios.
Las indicaciones largas del sistema, el contexto de recuperación aumentada, los repositorios de agentes de codificación, los paquetes de documentos legales y las bases de conocimientos de soporte se benefician de la reutilización del contexto. Cuanto más contexto repetido envía un sistema, más cambia el precio de la caché la economía unitaria real. Dos solicitudes con recuentos de tokens similares pueden tener costos muy diferentes si una escribe una entrada de caché y otra lee de ella.
Eso hace que la visibilidad de la caché sea una cuestión financiera, no solo una cuestión de ingeniería. Un equipo que ejecuta agentes internos puede necesitar saber si un nuevo flujo de trabajo es costoso porque genera demasiados mensajes nuevos, pierde el caché o escribe grandes bloques de caché con demasiada frecuencia. Es posible que un revendedor necesite mostrar a los clientes por qué el uso facturado de una aplicación es menor de lo esperado a pesar de que su tamaño aparente es grande. Es posible que un proveedor de puerta de enlace necesite conservar los campos de caché en registros, análisis y registros contables para que la conciliación de fin de mes coincida con las facturas del proveedor.
Aquí también es donde el análisis de costos de API de IA se vuelve más exigente. El costo total de la solicitud ya no es suficiente. Los equipos necesitan ver el comportamiento de entrada, salida, escritura de caché y lectura de caché por separado, luego conectar esas categorías a claves API, clientes, modelos y rutas.
Quién se ve afectado
La audiencia inmediata son los usuarios de Cloudflare AI Gateway que dependen de costos personalizados en lugar de precios públicos predeterminados. Esto incluye empresas con tarifas de modelo negociadas, plataformas que marcan el uso de proveedores para los clientes y equipos que utilizan Cloudflare como plano de control compartido entre múltiples proveedores de modelos.
Los revendedores están especialmente expuestos. Si un revendedor cobra a los clientes utilizando un modelo de token simplificado mientras paga a los proveedores con precios basados en el caché, la diferencia puede acumularse silenciosamente. Es posible que las escrituras de caché insuficientes o las lecturas de caché excesivas no aparezcan en una sola solicitud, pero pueden ser importantes en sesiones de agente, procesamiento por lotes o cargas de trabajo de recuperación de gran volumen.
Los desarrolladores que crean capas de puerta de enlace compatibles con OpenAI se ven afectados incluso cuando no usan Cloudflare directamente. El cambio refleja una dirección más amplia en el mercado: las superficies de facturación de los proveedores se están volviendo más granulares, mientras que los clientes aún esperan una factura limpia e informes de uso predecibles.Productos como Model Gate deben tratar los campos de tokens de caché como datos contables de primera clase si desean informes precisos centrados en el cliente, límites de uso y análisis de márgenes en múltiples proveedores.
Consecuencias prácticas
Los equipos de Gateway deben revisar cómo sus registros de solicitudes, calculadoras de costos y facturas representan la actividad de caché. Si las lecturas y escrituras de caché se reducen a tokens de aviso ordinarios, los análisis pueden parecer más simples que la factura subyacente. Si los registros de uso del proveedor contienen campos de caché que se eliminan durante la ingesta, la conciliación posterior será difícil.
Los motores de fijación de precios también deben admitir más de una tarifa por dirección. La antigua división insumo versus producto ya no es suficiente para la contabilidad de modelos avanzados. Un modelo de libro mayor creíble ahora necesita espacio para nuevos tokens de entrada, tokens de salida, escrituras de caché, lecturas de caché y posiblemente variantes específicas del proveedor de esas categorías.
Los paneles de control orientados al cliente deben exponer estas distinciones cuidadosamente. La mayoría de los usuarios no quieren leer la telemetría del proveedor sin procesar, pero sí necesitan comprender por qué los costos cambian cuando una aplicación comienza a reutilizar el contexto de manera más efectiva. La mejor interfaz puede ser un desglose de costos que muestre los ahorros de caché y los costos de creación de caché sin obligar a los clientes a aprender la terminología de cada proveedor.
También existen implicaciones operativas para las alertas y los límites. Un límite de presupuesto del cliente basado únicamente en el total de tokens puede no detectar una carga de trabajo que escribe entradas de caché costosas. Una alerta de margen basada únicamente en el recuento de solicitudes puede pasar por alto una discrepancia en los precios del proveedor. Para los equipos que venden acceso a través de claves por cliente, la contabilidad con reconocimiento de caché debe vincularse a los mismos identificadores de cliente, proyecto o aplicación utilizados para los controles de gastos.
Lo que permanece abierto
El registro de cambios establece soporte para tasas personalizadas de lectura y escritura de caché, pero no resuelve todas las preguntas de implementación para los operadores de puerta de enlace. Los equipos aún necesitan probar cómo sus proveedores específicos informan el uso de la caché, cómo aparecen los costos calculados de Cloudflare en los registros y exportaciones, y cómo se deben comparar las facturas existentes con los nuevos campos de costos personalizados.
Sin embargo, la dirección más amplia está clara. La facturación de la puerta de enlace de IA está pasando de un simple medidor de tokens a un libro de registro de uso detallado. El precio de la caché ahora forma parte de ese libro mayor. Los equipos que preserven los detalles tendrán una conciliación más limpia y mejores análisis de clientes. Es posible que los equipos que lo colapsen no se den cuenta del problema hasta que la factura del proveedor y la factura del cliente dejen de contar la misma historia.