Cloudflare přidal sazby tokenů čtení a zápisu do mezipaměti do vlastního nákladového účetnictví AI Gateway, což je malá položka protokolu změn s velkými fakturačními důsledky pro týmy, které přeprodávají, směrují nebo slaďují použití modelů mezi poskytovateli.
Aktualizace z 9. září znamená, že vývojáři nyní mohou předávat hodnoty per_cache_read_token a token> per_ca cf-aig-custom-cost. Když je přítomna kterákoli rychlost specifická pro mezipaměť, Cloudflare říká, že AI Gateway aktivuje ceny tokenů mezipaměti a zohledňuje rozdíly mezi poskytovateli, takže stejné využití mezipaměti se nezapočítává dvakrát.
To zní úzce. není. Stanovení cen mezipaměti se stalo jednou z těžších částí jednotné fakturace rozhraní AI API, zejména když poskytovatelé používají různé názvy, jednotky a pravidla účtování pro opakovaně použitý kontext. Zacházet s každým tokenem uloženým v mezipaměti jako s běžným vstupním tokenem může být jednoduché, ale může být natolik špatné, že vymaže marži prodejce nebo oklame zákazníky ohledně toho, jaké pracovní zátěže jsou skutečně drahé.
Co se změnilo
AI Gateway již umožňovala připojení vlastních údajů o nákladech k požadavkům, což týmům umožnilo reprezentovat sjednané sazby nebo interní ceníky namísto spoléhání se pouze na ceny veřejného poskytovatele. Nová změna rozšiřuje tento mechanismus na kategorie tokenů specifické pro mezipaměť.
V praxi může nyní operátor brány Cloudflare sdělit nejen to, kolik stojí vstupní nebo výstupní token, ale také kolik stojí čtení nebo zápis do mezipaměti. Tento rozdíl je důležitý, protože poskytovatelé stále více oceňují rychlé ukládání do mezipaměti jako svou vlastní ekonomickou vrstvu. Zápis do mezipaměti může stát více než čtení mezipaměti. Čtení mezipaměti může být výrazně levnější než nový vstup. Někteří poskytovatelé mohou vytváření mezipaměti a načítání mezipaměti v záznamech o používání odhalit odlišně.
Upozornění Cloudflare, že řeší rozdíly mezi poskytovateli, aby se zabránilo dvojímu započítání, je také důležité. Pole mezipaměti nejsou vždy čistě odděleny od součtů vstupních tokenů. Pokud fakturační systém naivně přidává tokeny mezipaměti nad rámec využití vstupu hlášeného poskytovatelem, může to zákazníkům předražit nebo zvýšit interní náklady. Pokud ignoruje pole mezipaměti, může podceňovat náklady aplikací s dlouhým kontextem, které často vytvářejí položky mezipaměti.
Proč nyní záleží na účtování mezipaměti
Ukládání výzvy do mezipaměti bývalo detailem optimalizace. Pro mnoho produkčních úloh je nyní součástí cenové architektury.
Z opakovaného použití kontextu těží dlouhé systémové výzvy, kontext rozšířený o načítání, úložiště kódovacích agentů, balíčky právních dokumentů a znalostní báze podpory. Čím více opakovaných souvislostí systém posílá, tím více cen mezipaměti mění skutečnou ekonomiku jednotky. Dva požadavky s podobným počtem tokenů mohou mít velmi odlišné náklady, pokud jeden zapisuje záznam z mezipaměti a druhý z něj čte.
To dělá z viditelnosti mezipaměti finanční problém, nejen technický problém. Tým provozující interní agenty může potřebovat vědět, zda je nový pracovní postup drahý, protože generuje příliš mnoho nových výzev, vynechává mezipaměť nebo příliš často zapisuje velké bloky mezipaměti. Prodejce možná bude muset zákazníkům ukázat, proč je účtované využití jedné aplikace nižší, než se očekávalo, i když je zdánlivá velikost výzvy velká. Dodavatel brány možná bude muset zachovat pole mezipaměti v protokolech, analýzách a záznamech hlavní knihy, aby se odsouhlasení na konci měsíce shodovalo s fakturami poskytovatele.
To je také místo, kde se analýza nákladů AI API stává náročnější. Souhrnná cena požadavku již nestačí. Týmy musí samostatně vidět vstup, výstup, zápis do mezipaměti a čtení z mezipaměti a poté tyto kategorie propojit s API klíči, zákazníky, modely a trasami.
Koho se to týká
Bezprostředním publikem jsou uživatelé Cloudflare AI Gateway, kteří se spoléhají na vlastní náklady, nikoli na výchozí veřejné ceny. To zahrnuje podniky s vyjednanými modelovými sazbami, platformy, které zákazníkům označují používání poskytovatelů, a týmy, které používají Cloudflare jako sdílenou řídicí rovinu mezi více poskytovateli modelů.
Obzvláště vystaveni jsou prodejci. Pokud prodejce účtuje zákazníkům za použití zjednodušeného modelu tokenů a platí poskytovatelům za ceny s vědomím mezipaměti, rozdíl se může tiše nahromadit. Podbití zápisů mezipaměti nebo přebití čtení mezipaměti se nemusí projevit v jednom požadavku, ale může to záležet na relacích agenta, dávkovém zpracování nebo velkém objemu načítání.
Vývojáři vytvářející vrstvy brány kompatibilní s OpenAI jsou ovlivněny, i když přímo nepoužívají Cloudflare. Změna odráží širší směr na trhu: fakturační plochy poskytovatelů jsou stále podrobnější, zatímco zákazníci stále očekávají čistou fakturu a předvídatelné zprávy o využití.Produkty, jako je Model Gate, musí zacházet s poli tokenů mezipaměti jako s prvotřídními daty hlavní knihy, pokud chtějí přesné hlášení na úrovni zákazníka, limity využití a analýzu marže u různých poskytovatelů.
Praktické důsledky
Týmy brány by měly zkontrolovat, jak jejich protokoly požadavků, kalkulačky nákladů a faktury představují aktivitu mezipaměti. Pokud jsou čtení a zápisy mezipaměti sloučeny do běžných tokenů výzvy, může analytika vypadat jednodušší než podkladový účet. Pokud záznamy o využití poskytovatele obsahují pole mezipaměti, která jsou během zpracování vynechána, pozdější odsouhlasení bude obtížné.
Cenové nástroje také musí podporovat více než jednu sazbu na směr. Staré rozdělení vstupů a výstupů již pro pokročilé modelové účtování nestačí. Důvěryhodná modelová kniha nyní potřebuje prostor pro nové vstupní tokeny, výstupní tokeny, zápisy do mezipaměti, čtení mezipaměti a případně varianty těchto kategorií specifické pro poskytovatele.
Zákaznické řídicí panely by měly tyto rozdíly pečlivě odhalovat. Většina uživatelů nechce číst nezpracovanou telemetrii poskytovatele, ale musí pochopit, proč se náklady mění, když aplikace začne efektivněji znovu používat kontext. Nejlepším rozhraním může být rozpis nákladů, který ukazuje úspory mezipaměti a náklady na vytvoření mezipaměti, aniž by zákazníky nutil učit se terminologii každého poskytovatele.
Existují také provozní důsledky pro upozornění a limity. Limit zákaznického rozpočtu založený pouze na celkovém počtu tokenů nemusí zachytit zátěž, která zapisuje drahé položky mezipaměti. Upozornění na marži založené pouze na počtu požadavků může přehlédnout nesoulad cen poskytovatele. Pro týmy, které prodávají přístup prostřednictvím klíčů jednotlivých zákazníků, by mělo být účtování s vědomím mezipaměti svázáno se stejným identifikátorem zákazníka, projektu nebo aplikace, které se používá pro kontrolu výdajů.
Co zůstává otevřené
Protokol změn zavádí podporu pro vlastní rychlosti čtení do mezipaměti a zápisu do mezipaměti, ale neřeší každou otázku implementace pro operátory brány. Týmy ještě musí otestovat, jak jejich konkrétní poskytovatelé hlásí využití mezipaměti, jak se vypočítané náklady Cloudflare zobrazují v protokolech a exportech a jak by se měly porovnávat stávající faktury s novými poli vlastních nákladů.
Větší směr je však jasný. Fakturace brány AI se posouvá od jednoduchého měřiče tokenů k podrobné knize použití. Cena mezipaměti je nyní součástí této knihy. Týmy, které zachovávají detaily, budou mít čistší sladění a lepší analýzu zákazníků. Týmy, které to sbalí, si nemusí problému všimnout, dokud jejich faktura poskytovatele a faktura zákazníka nepřestanou vyprávět stejný příběh.