Cloudflare přidal sazby tokenů čtení a zápisu do mezipaměti do vlastního účtování nákladů AI Gateway, což je malá položka protokolu změn s velkými fakturačními důsledky pro týmy, které přeprodávají, směrují nebo slaďují použití modelů mezi poskytovateli.

Aktualizace z 9. září znamená, že vývojáři nyní mohou v záhlaví cf-aig-custom-cost předávat hodnoty per_cache_read_token a per_cache_write_token. Když je přítomna kterákoli rychlost specifická pro mezipaměť, Cloudflare říká, že AI Gateway aktivuje ceny tokenů mezipaměti a zohledňuje rozdíly mezi poskytovateli, takže stejné využití mezipaměti se nezapočítává dvakrát.

To zní úzce. není. Stanovení cen v mezipaměti se stalo jednou z těžších částí unified AI API billing, zvláště když poskytovatelé používají různé názvy, jednotky a pravidla účtování pro opakovaně použitý kontext. Zacházet s každým tokenem uloženým v mezipaměti jako s běžným vstupním tokenem může být jednoduché, ale může to být natolik špatné, že smaže marži prodejce nebo oklame zákazníky ohledně toho, jaké úlohy jsou ve skutečnosti drahé.

Co se změnilo

AI Gateway již umožňovala připojení vlastních údajů o nákladech k požadavkům, což týmům umožnilo reprezentovat sjednané sazby nebo pouze interní ceníky na veřejném poskytovateli cen, místo aby se spoléhaly na ceny veřejného poskytovatele. Nová změna rozšiřuje tento mechanismus na kategorie tokenů specifické pro mezipaměť.

V praxi může nyní operátor brány Cloudflare sdělit nejen to, kolik stojí vstupní nebo výstupní token, ale také kolik stojí čtení nebo zápis do mezipaměti. Tento rozdíl je důležitý, protože poskytovatelé stále více oceňují rychlé ukládání do mezipaměti jako svou vlastní ekonomickou vrstvu. Zápis do mezipaměti může stát více než čtení mezipaměti. Čtení mezipaměti může být výrazně levnější než nový vstup. Někteří poskytovatelé mohou vytváření a načítání mezipaměti v záznamech o používání odhalit odlišně.

Upozornění Cloudflare, že řeší rozdíly mezi poskytovateli, aby se zabránilo dvojímu započítání, je také důležité. Pole mezipaměti nejsou vždy čistě odděleny od součtů vstupních tokenů. Pokud fakturační systém naivně přidává tokeny mezipaměti nad rámec využití vstupu hlášeného poskytovatelem, může to zákazníkům předražit nebo zvýšit interní náklady. Pokud ignoruje pole mezipaměti, může podceňovat cenu aplikací s dlouhým kontextem, které často vytvářejí položky mezipaměti.

Proč nyní záleží na účtování mezipaměti

Ukládání výzvy do mezipaměti bývalo detailem optimalizace. Pro mnoho produkčních úloh je nyní součástí cenové architektury.

Dlouhé systémové výzvy, kontext rozšířený o načítání, úložiště kódovacích agentů, balíčky právních dokumentů a znalostní báze podpory – to vše těží z opětovného použití kontextu. Čím více opakovaných souvislostí systém posílá, tím více cen mezipaměti mění skutečnou ekonomiku jednotky. Dva požadavky s podobným počtem tokenů mohou mít velmi rozdílné náklady, pokud jeden zapisuje záznam z mezipaměti a druhý z něj čte.

Viditelnost mezipaměti je proto finanční, nikoli pouze technický problém. Tým provozující interní agenty může potřebovat vědět, zda je nový pracovní postup drahý, protože generuje příliš mnoho nových výzev, vynechává mezipaměť nebo příliš často zapisuje velké bloky mezipaměti. Prodejce možná bude muset zákazníkům ukázat, proč je účtované využití jedné aplikace nižší, než se očekávalo, i když je zdánlivá velikost výzvy velká. Dodavatel brány možná bude muset zachovat pole mezipaměti v protokolech, analýzách a záznamech hlavní knihy, aby se odsouhlasení na konci měsíce shodovalo s fakturami poskytovatele.

To je také místo, kde se AI API analýza nákladů stává náročnější. Souhrnná cena požadavku již nestačí. Týmy musí samostatně vidět vstup, výstup, zápis do mezipaměti a čtení z mezipaměti a poté tyto kategorie propojit s API klíči, zákazníky, modely a trasami.

Koho se to týká

Bezprostředním publikem jsou uživatelé služby Cloudflare AI Gateway, kteří spoléhají na vlastní náklady, nikoli na výchozí veřejné ceny. To zahrnuje podniky s vyjednanými modelovými sazbami, platformy, které zákazníkům přiznávají využití poskytovatelů, a týmy, které používají Cloudflare jako sdílenou řídicí rovinu mezi více poskytovateli modelů.

Obzvláště vystaveni jsou prodejci.Pokud prodejce účtuje zákazníkům za použití zjednodušeného modelu tokenů a platí poskytovatelům za ceny s vědomím mezipaměti, rozdíl se může tiše nahromadit. Podbití zápisů do mezipaměti nebo přebití čtení mezipaměti se nemusí projevit v jediném požadavku, ale může to záležet na relacích agenta, dávkovém zpracování nebo velkém objemu načítání.

Vrstvy brány kompatibilní se stavbou vývojářů OpenAI jsou ovlivněny, i když přímo nepoužívají Cloudflare. Změna odráží širší směr na trhu: fakturační plochy poskytovatelů jsou stále podrobnější, zatímco zákazníci stále očekávají čistou fakturu a předvídatelné zprávy o využití. Produkty, jako je Model Gate, musí zacházet s poli tokenů mezipaměti jako s prvotřídními daty hlavní knihy, pokud chtějí přesné hlášení na úrovni zákazníka, limity využití a analýzu marží u různých poskytovatelů.

Praktické důsledky

Týmy brány by měly zkontrolovat, jak jejich protokoly požadavků, kalkulačky nákladů a faktury představují aktivitu mezipaměti. Pokud jsou čtení a zápisy mezipaměti sloučeny do běžných tokenů výzvy, může analytika vypadat jednodušší než podkladový účet. Pokud záznamy o využití poskytovatele obsahují pole mezipaměti, která jsou během zpracování odstraněna, pozdější odsouhlasení bude obtížné.

Cenové nástroje také musí podporovat více než jednu sazbu na směr. Staré rozdělení vstupů a výstupů již pro pokročilé modelové účtování nestačí. Důvěryhodná modelová kniha nyní potřebuje místo pro nové vstupní tokeny, výstupní tokeny, zápisy do mezipaměti, čtení mezipaměti a případně varianty těchto kategorií specifické pro poskytovatele.

Panely orientované na zákazníky by měly tyto rozdíly pečlivě odhalovat. Většina uživatelů nechce číst nezpracovanou telemetrii poskytovatele, ale musí pochopit, proč se náklady mění, když aplikace začne efektivněji znovu používat kontext. Nejlepším rozhraním může být rozpis nákladů, který ukazuje úspory mezipaměti a náklady na vytvoření mezipaměti, aniž by zákazníky nutil učit se terminologii každého poskytovatele.

Existují také provozní důsledky pro upozornění a limity. Limit zákaznického rozpočtu založený pouze na celkovém počtu tokenů nemusí zachytit zátěž, která zapisuje drahé položky mezipaměti. Upozornění na marži založené pouze na počtu požadavků může přehlédnout nesoulad cen poskytovatele. Pro týmy, které prodávají přístup prostřednictvím klíčů jednotlivých zákazníků, by mělo být účtování s vědomím mezipaměti propojeno se stejným identifikátorem zákazníka, projektu nebo aplikace, které se používá pro řízení výdajů.

Co zůstává otevřené

Protokol změn zavádí podporu pro vlastní sazby za čtení a zápis do mezipaměti, ale neřeší každou otázku implementace pro operátory brány. Týmy ještě musí otestovat, jak jejich konkrétní poskytovatelé hlásí využití mezipaměti, jak se vypočítané náklady Cloudflare zobrazují v protokolech a exportech a jak by se měly porovnávat stávající faktury s novými poli vlastních nákladů.

Větší směr je však jasný. Fakturace brány AI se posouvá od jednoduchého měřiče tokenů k podrobné knize použití. Cena mezipaměti je nyní součástí této knihy. Týmy, které zachovávají detaily, budou mít čistší sladění a lepší analýzu zákazníků. Týmy, které to sbalí, si nemusí problému všimnout, dokud jejich faktura poskytovatele a faktura zákazníka nepřestanou vyprávět stejný příběh.