Cloudflare ha aggiunto le tariffe dei token di lettura e scrittura nella cache alla contabilità dei costi personalizzata di AI Gateway, un piccolo elemento del registro delle modifiche con grandi conseguenze sulla fatturazione per i team che rivendono, instradano o riconciliano l'utilizzo del modello tra provider.

L'aggiornamento del 9 settembre significa che gli sviluppatori possono ora passare i valori per_cache_read_token e per_cache_write_token nell'intestazione cf-aig-custom-cost. Quando è presente una tariffa specifica per la cache, Cloudflare afferma che AI ​​Gateway attiva i prezzi dei token di cache e tiene conto delle differenze tra i provider in modo che lo stesso utilizzo della cache non venga conteggiato due volte.

Sembra limitato. Non lo è. Il prezzo della cache è diventato uno degli aspetti più difficili della fatturazione unificata dell'API AI, soprattutto perché i fornitori utilizzano nomi, unità e regole di fatturazione diversi per il contesto riutilizzato. Trattare ogni token memorizzato nella cache come un normale token di input può essere semplice, ma può essere abbastanza sbagliato da cancellare il margine del rivenditore o indurre in errore i clienti su quali carichi di lavoro siano effettivamente costosi.

Cosa è cambiato

AI Gateway consentiva già di allegare dati di costo personalizzati alle richieste, offrendo ai team un modo per rappresentare le tariffe negoziate o i listini prezzi interni invece di fare affidamento solo sui prezzi dei fornitori pubblici. La nuova modifica estende questo meccanismo a categorie di token specifiche della cache.

In pratica, un operatore gateway può ora dire a Cloudflare non solo quanto costa un token di input o output, ma quanto costa una lettura o scrittura della cache. Questa distinzione è importante perché i fornitori valutano sempre più la memorizzazione nella cache come un proprio livello economico. Una scrittura nella cache può costare più di una lettura nella cache. Una lettura della cache può essere notevolmente più economica di un nuovo input. Alcuni provider potrebbero esporre la creazione e il recupero della cache in modo diverso nei record di utilizzo.

Anche la nota di Cloudflare secondo cui gestisce le differenze tra i provider per evitare il doppio conteggio è importante. I campi della cache non sono sempre separati in modo netto dai totali dei token di input. Se un sistema di fatturazione aggiunge ingenuamente token di cache oltre all’utilizzo di input segnalato dal fornitore, può sovraccaricare i clienti o gonfiare i costi interni. Se ignora i campi della cache, può sottostimare il costo delle applicazioni a lungo contesto che creano frequentemente voci di cache.

Perché la contabilità della cache ora è importante

La memorizzazione nella cache tempestiva era un dettaglio di ottimizzazione. Per molti carichi di lavoro di produzione, ora fa parte dell'architettura dei prezzi.

Lunghe richieste di sistema, contesto potenziato per il recupero, repository di agenti di codifica, pacchetti di documenti legali e basi di conoscenza di supporto traggono tutti vantaggio dal riutilizzo del contesto. Quanto più il contesto ripetuto viene inviato da un sistema, tanto più il prezzo della cache modifica l’economia dell’unità reale. Due richieste con conteggi di token simili possono avere costi molto diversi se una scrive una voce nella cache e un'altra la legge.

Ciò rende la visibilità della cache una questione finanziaria, non solo una questione tecnica. Un team che utilizza agenti interni potrebbe aver bisogno di sapere se un nuovo flusso di lavoro è costoso perché genera troppi nuovi prompt, manca la cache o scrive troppo spesso blocchi di cache di grandi dimensioni. Un rivenditore potrebbe dover spiegare ai clienti il ​​motivo per cui l'utilizzo fatturato di un'applicazione è inferiore al previsto anche se la dimensione apparente della richiesta è elevata. Un fornitore di gateway potrebbe dover preservare i campi della cache nei registri, nelle analisi e nei record contabili in modo che la riconciliazione di fine mese corrisponda alle fatture del fornitore.

Questo è anche il punto in cui l'analisi dei costi dell'API AI diventa più impegnativa. Il costo delle richieste aggregate non è più sufficiente. I team devono vedere separatamente il comportamento di input, output, scrittura nella cache e lettura nella cache, quindi collegare tali categorie a chiavi API, clienti, modelli e percorsi.

Chi è interessato

Il pubblico più immediato sono gli utenti di Cloudflare AI Gateway che fanno affidamento su costi personalizzati anziché su prezzi pubblici predefiniti. Ciò include aziende con tariffe di modello negoziate, piattaforme che contrassegnano l'utilizzo dei fornitori per i clienti e team che utilizzano Cloudflare come piano di controllo condiviso tra più fornitori di modelli.

I rivenditori sono particolarmente esposti. Se un rivenditore addebita ai clienti utilizzando un modello di token semplificato mentre paga i fornitori con prezzi basati sulla cache, la differenza può tranquillamente accumularsi. Il sovraccarico delle scritture della cache o il sovraccarico delle letture della cache potrebbero non essere visualizzati in una singola richiesta, ma possono avere importanza nelle sessioni dell'agente, nell'elaborazione batch o nei carichi di lavoro di recupero di volumi elevati.

Gli sviluppatori che creano livelli gateway compatibili con OpenAI sono interessati anche quando non utilizzano direttamente Cloudflare. Il cambiamento riflette una direzione più ampia nel mercato: le superfici di fatturazione dei fornitori stanno diventando più granulari, mentre i clienti si aspettano ancora fatture pulite e report di utilizzo prevedibili.Prodotti come Model Gate devono trattare i campi token della cache come dati contabili di prima classe se desiderano report accurati a livello di cliente, limiti di utilizzo e analisi dei margini tra più fornitori.

Conseguenze pratiche

I team del gateway dovrebbero rivedere il modo in cui i registri delle richieste, i calcolatori dei costi e le fatture rappresentano l'attività della cache. Se le letture e le scritture della cache vengono ridotte a normali token di prompt, l'analisi potrebbe sembrare più semplice della fattura sottostante. Se i record di utilizzo del fornitore contengono campi della cache che vengono eliminati durante l'importazione, la riconciliazione successiva sarà difficile.

I motori di determinazione dei prezzi devono inoltre supportare più di una tariffa per direzione. La vecchia suddivisione input/output non è più sufficiente per i modelli contabili avanzati. Un modello di registro credibile ora ha bisogno di spazio per nuovi token di input, token di output, scritture e letture della cache ed eventualmente varianti specifiche del provider di tali categorie.

I dashboard rivolti ai clienti dovrebbero esporre attentamente queste distinzioni. La maggior parte degli utenti non desidera leggere la telemetria grezza del provider, ma deve capire perché i costi cambiano quando un'applicazione inizia a riutilizzare il contesto in modo più efficace. L'interfaccia migliore potrebbe essere una ripartizione dei costi che mostri i risparmi della cache e i costi di creazione della cache senza costringere i clienti ad apprendere la terminologia di ogni fornitore.

Ci sono anche implicazioni operative per avvisi e limiti. Un limite di budget del cliente basato solo sui token totali potrebbe non riuscire a rilevare un carico di lavoro che scrive voci di cache costose. Un avviso di margine basato solo sul conteggio delle richieste potrebbe non rilevare una mancata corrispondenza dei prezzi del fornitore. Per i team che vendono l'accesso tramite chiavi per cliente, la contabilità con riconoscimento della cache dovrebbe essere collegata agli stessi identificatori di cliente, progetto o applicazione utilizzati per i controlli della spesa.

Che cosa rimane aperto

Il registro delle modifiche stabilisce il supporto per le tariffe personalizzate di lettura e scrittura nella cache, ma non risolve ogni questione di implementazione per gli operatori gateway. I team devono ancora testare il modo in cui i loro fornitori specifici segnalano l'utilizzo della cache, come i costi calcolati di Cloudflare appaiono nei log e nelle esportazioni e come le fatture esistenti dovrebbero essere confrontate con i nuovi campi dei costi personalizzati.

La direzione più ampia, tuttavia, è chiara. La fatturazione del gateway AI si sta spostando da un semplice contatore di token a un registro dettagliato dell'utilizzo. I prezzi della cache ora fanno parte di quel registro. I team che preservano i dettagli avranno una riconciliazione più pulita e una migliore analisi dei clienti. I team che lo eliminano potrebbero non notare il problema finché la fattura del fornitore e la fattura del cliente non smetteranno di raccontare la stessa storia.