Cloudflare ha afegit tarifes de testimonis de lectura i escriptura de la memòria cau a la comptabilitat de costos personalitzada d'AI Gateway, un petit element de registre de canvis amb grans conseqüències de facturació per als equips que venen, encaminen o concilien l'ús del model entre proveïdors.
L'actualització del 9 de setembre significa que els desenvolupadors ara poden passar per_cache_code_read> i per_cache_write_token a la capçalera cf-aig-custom-cost. Quan hi ha una taxa específica de memòria cau, Cloudflare diu que AI Gateway activa els preus dels testimonis de memòria cau i té en compte les diferències entre els proveïdors, de manera que l'ús de la memòria cau no es compta dues vegades.
Això sona limitat. No ho és. Els preus de la memòria cau s'han convertit en una de les parts més difícils de la facturació unificada de l'API AI, sobretot perquè els proveïdors utilitzen diferents noms, unitats i regles de facturació per al context reutilitzat. Tractar tots els testimonis emmagatzemats a la memòria cau com un testimoni d'entrada normal pot ser senzill, però pot ser prou incorrecte per esborrar el marge del distribuïdor o enganyar els clients sobre quines càrregues de treball són realment cares.
El que ha canviat
AI Gateway ja permetia adjuntar dades de costos personalitzades a les sol·licituds, donant als equips una manera de representar només les tarifes negociades en comptes de fer les reserves internes de preus o de redistribuir els preus públics. El nou canvi amplia aquest mecanisme a les categories de testimoni específiques de la memòria cau.
A la pràctica, un operador de passarel·la ara pot dir a Cloudflare no només el cost d'un testimoni d'entrada o de sortida, sinó també quins costos de lectura o escriptura de memòria cau. Aquesta distinció és important perquè els proveïdors costen cada cop més la memòria cau ràpida com la seva pròpia capa econòmica. Una escriptura de la memòria cau pot costar més que una lectura de la memòria cau. Una lectura de memòria cau pot ser molt més barata que una entrada nova. Alguns proveïdors poden exposar la creació de la memòria cau i la recuperació de la memòria cau de manera diferent als registres d'ús.
La nota de Cloudflare que gestiona les diferències de proveïdors per evitar el recompte doble també és important. Els camps de la memòria cau no sempre estan clarament separats dels totals dels testimonis d'entrada. Si un sistema de facturació ingènuament afegeix testimonis de memòria cau a més de l'ús d'entrada informat pel proveïdor, pot sobrecarregar els clients o augmentar el cost intern. Si ignora els camps de la memòria cau, pot subestimar el cost de les aplicacions de context llarg que sovint creen entrades de memòria cau.
Per què és important ara la comptabilitat de la memòria cau
La memòria cau d'invites solia ser un detall d'optimització. Per a moltes càrregues de treball de producció, ara forma part de l'arquitectura de preus.
Les indicacions llargues del sistema, el context augmentat per la recuperació, els dipòsits d'agents de codificació, els paquets de documents legals i les bases de coneixement de suport es beneficien de la reutilització del context. Com més context repetit envia un sistema, més el preu de la memòria cau canvia l'economia real de la unitat. Dues sol·licituds amb un nombre de testimonis similars poden tenir costos molt diferents si una està escrivint una entrada de memòria cau i una altra la llegeix.
Això fa que la visibilitat de la memòria cau sigui un problema financer, no només un problema d'enginyeria. És possible que un equip que executi agents interns hagi de saber si un flux de treball nou és car perquè genera massa sol·licituds noves, perd la memòria cau o escriu grans blocs de memòria cau massa sovint. És possible que un distribuïdor hagi de mostrar als clients per què l'ús facturat d'una aplicació és inferior a l'esperat, tot i que la seva mida aparent d'indicació és gran. És possible que un proveïdor de passarel·la hagi de conservar els camps de la memòria cau als registres, analítiques i registres del llibre major perquè la conciliació de final de mes coincideixi amb les factures del proveïdor.
Aquí també és on l'anàlisi de costos de l'API d'IA es fa més exigent. El cost de sol·licitud agregat ja no és suficient. Els equips han de veure l'entrada, la sortida, l'escriptura de la memòria cau i la lectura de la memòria cau per separat i, a continuació, connectar aquestes categories a les claus de l'API, als clients, als models i a les rutes.
Qui està afectat
El públic immediat són els usuaris de Cloudflare AI Gateway que depenen de costos personalitzats en lloc de preus públics predeterminats. Això inclou empreses amb tarifes de models negociades, plataformes que marquen l'ús del proveïdor per als clients i equips que utilitzen Cloudflare com a pla de control compartit entre diversos proveïdors de models.
Els revenedors estan especialment exposats. Si un distribuïdor cobra als clients mitjançant un model de testimoni simplificat mentre paga als proveïdors amb un preu conscient de la memòria cau, la diferència es pot acumular tranquil·lament. És possible que les escriptures de la memòria cau amb una càrrega insuficient o una sobrecàrrega de lectura de la memòria cau no es mostrin en una sola sol·licitud, però pot importar entre sessions d'agent, processament per lots o càrregues de treball de recuperació de gran volum.
Els desenvolupadors que creen capes de passarel·la compatibles amb OpenAI es veuen afectats fins i tot quan no utilitzen Cloudflare directament. El canvi reflecteix una direcció més àmplia del mercat: les superfícies de facturació dels proveïdors són cada cop més granulars, mentre que els clients encara esperen una factura neta i informes d'ús previsibles.Productes com Model Gate han de tractar els camps de testimoni de la memòria cau com a dades del llibre major de primera classe si volen informes precisos de l'abast del client, límits d'ús i anàlisi de marges entre diversos proveïdors.
Conseqüències pràctiques
Els equips de passarel·la haurien de revisar com els seus registres de sol·licituds, calculadores de costos i factures representen l'activitat de la memòria cau. Si les lectures i escriptures de la memòria cau s'aplanen en fitxes d'avís normals, l'anàlisi pot semblar més senzill que la factura subjacent. Si els registres d'ús del proveïdor contenen camps de memòria cau que s'han eliminat durant la ingestió, la reconciliació posterior serà difícil.
Els motors de preus també han d'admetre més d'una tarifa per direcció. L'antiga divisió d'entrada versus sortida ja no és suficient per a la comptabilitat de models avançats. Un llibre de models creïble ara necessita espai per a fitxes d'entrada noves, testimonis de sortida, escriptures de memòria cau, lectures de memòria cau i possiblement variants específiques del proveïdor d'aquestes categories.
Els taulers de control orientats al client haurien d'exposar aquestes distincions amb cura. La majoria dels usuaris no volen llegir la telemetria del proveïdor en brut, però han d'entendre per què els costos canvien quan una aplicació comença a reutilitzar el context de manera més eficaç. La millor interfície pot ser un desglossament de costos que mostri l'estalvi de la memòria cau i els costos de creació de la memòria cau sense obligar els clients a conèixer la terminologia de cada proveïdor.
També hi ha implicacions operatives per a les alertes i els límits. Un límit de pressupost del client basat només en el total de testimonis pot no capturar una càrrega de treball que escrigui entrades de memòria cau cares. Una alerta de marge basada només en el recompte de sol·licituds pot no coincidir amb els preus del proveïdor. Per als equips que venen accés mitjançant claus per client, la comptabilitat conscient de la memòria cau s'ha de relacionar amb els mateixos identificadors de client, projecte o aplicació utilitzats per als controls de despesa.
El que roman obert
El registre de canvis estableix suport per a tarifes personalitzades de lectura i escriptura de memòria cau, però no resol totes les preguntes d'implementació per als operadors de passarel·la. Els equips encara han de provar com els seus proveïdors específics informen sobre l'ús de la memòria cau, com apareixen els costos calculats de Cloudflare als registres i exportacions i com s'han de comparar les factures existents amb els nous camps de costos personalitzats.
La direcció més àmplia és clara, però. La facturació de la passarel·la d'IA passa d'un simple comptador de testimonis a un registre detallat d'ús. El preu de la memòria cau ara forma part d'aquest llibre major. Els equips que preservin el detall tindran una conciliació més neta i una millor anàlisi dels clients. És possible que els equips que el col·lapsen no notin el problema fins que la factura del proveïdor i la factura del client deixin d'explicar la mateixa història.