Cloudflare добави токени за четене и запис на кеша към персонализираното отчитане на разходите на AI Gateway, малък елемент от регистъра на промените с големи последици за таксуването за екипи, които препродават, маршрутизират или съгласуват използването на модел между доставчици.

Актуализацията от 9 септември означава, че разработчиците вече могат да предават per_cache_read_token и Стойности на per_cache_write_token в заглавката cf-aig-custom-cost. Когато е налице която и да е от специфичните за кеша скорости, Cloudflare казва, че AI Gateway активира ценообразуването на кеш токени и отчита разликите в доставчиците, така че едно и също използване на кеша не се отчита два пъти.

Това звучи ограничено. Не е така. Ценообразуването на кеша се превърна в една от по-трудните части на унифицираното таксуване на AI API, особено след като доставчиците използват различни имена, единици и правила за таксуване за повторно използван контекст. Третирането на всеки кеширан токен като нормален входен токен може да е просто, но може да е достатъчно погрешно, за да изтрие маржа на дистрибутора или да подведе клиентите относно това кои работни натоварвания всъщност са скъпи.

Какво се промени

AI Gateway вече позволява персонализирани данни за разходите да се прикачват към заявките, давайки на екипите начин да представят договорени тарифи или вътрешни ценови книги, вместо да разчитат само на ценообразуването на обществения доставчик. Новата промяна разширява този механизъм до категории токени, специфични за кеша.

На практика операторът на шлюз вече може да каже на Cloudflare не само колко струва входен или изходен токен, но и колко струва четене или запис в кеша. Това разграничение има значение, тъй като доставчиците все повече оценяват бързото кеширане като собствен икономически слой. Записването в кеша може да струва повече от четенето в кеша. Четенето на кеша може да бъде значително по-евтино от новото въвеждане. Някои доставчици може да излагат създаването на кеш и извличането на кеш по различен начин в записите за използване.

Забележката на Cloudflare, че обработва разликите в доставчиците, за да избегне двойното отчитане, също е важна. Кеш полетата не винаги са ясно отделени от общите стойности на входните токени. Ако системата за таксуване наивно добави кеш токени към отчетеното от доставчика използване на вход, тя може да таксува над клиентите или да увеличи вътрешните разходи. Ако игнорира кеш полетата, може да подценява цената на приложенията с дълъг контекст, които често създават записи в кеша.

Защо отчитането на кеша сега има значение

Бързото кеширане преди беше детайл за оптимизация. За много производствени работни натоварвания той вече е част от ценовата архитектура.

Дългите системни подкани, контекстът с разширено извличане, хранилищата на кодиращи агенти, пакетите с правни документи и базите от знания за поддръжка се възползват от повторното използване на контекста. Колкото повече повтарящ се контекст изпраща системата, толкова повече ценообразуването на кеша променя икономиката на реалната единица. Две заявки с подобен брой токени могат да имат много различни разходи, ако един пише запис в кеша, а друг чете от него.

Това прави видимостта на кеша финансов проблем, а не само инженерен проблем. Екип, работещ с вътрешни агенти, може да трябва да знае дали нов работен поток е скъп, защото генерира твърде много свежи подкани, пропуска кеша или записва големи кеш блокове твърде често. Дистрибуторът може да се наложи да покаже на клиентите защо таксуваното използване на едно приложение е по-ниско от очакваното, въпреки че неговият привиден размер на подкана е голям. Доставчикът на шлюз може да се наложи да запази кеш полетата в регистрационните файлове, анализите и регистрите на счетоводната книга, така че съгласуването в края на месеца да съответства на фактурите на доставчика.

Тук също така анализът на разходите за AI API става по-взискателен. Общата цена на заявката вече не е достатъчна. Екипите трябва да видят поведението на въвеждане, изход, писане и четене в кеша поотделно, след което да свържат тези категории с API ключове, клиенти, модели и маршрути.

Кой е засегнат

Непосредствената аудитория са потребителите на Cloudflare AI Gateway, които разчитат на персонализирани разходи, а не на публично ценообразуване по подразбиране. Това включва предприятия с договорени моделни тарифи, платформи, които маркират използването на доставчици за клиенти, и екипи, които използват Cloudflare като споделена контролна равнина между множество доставчици на модели.

Дистрибуторите са особено изложени. Ако дистрибутор таксува клиенти, използвайки опростен модел на токени, докато плаща на доставчици при ценообразуване, съобразено с кеша, разликата може тихо да се натрупа. Недостатъчното таксуване на записи в кеша или презареждането на четене в кеша може да не се покаже в една заявка, но може да има значение при сесии на агенти, групова обработка или натоварвания за извличане на голям обем.

Разработчиците, изграждащи OpenAI-съвместими слоеве на шлюза, са засегнати дори когато не използват директно Cloudflare. Промяната отразява по-широка посока на пазара: повърхностите за фактуриране на доставчици стават по-подробни, докато клиентите все още очакват чиста фактура и предвидими отчети за употреба.Продукти като Model Gate трябва да третират полетата за кеш токени като първокласни регистрационни данни, ако искат точно отчитане с обхват на клиентите, ограничения за използване и анализ на маржове при множество доставчици.

Практически последствия

Екипите на Gateway трябва да прегледат как техните регистрационни файлове за заявки, калкулатори на разходи и фактури представят кеш дейността. Ако четенията и записите в кеша са сведени до обикновени токени за подкана, анализите може да изглеждат по-прости от основната сметка. Ако записите за използване на доставчика съдържат кеширани полета, които са изпуснати по време на поглъщане, по-късното съгласуване ще бъде трудно.

Ценообразуващите машини също трябва да поддържат повече от една тарифа за посока. Старото разделение на входящите спрямо изходящите ресурси вече не е достатъчно за разширен модел на счетоводство. Достоверният модел на счетоводната книга сега се нуждае от място за нови входни токени, изходни токени, записи в кеша, четения в кеша и евентуално специфични за доставчика варианти на тези категории.

Таблата за управление, насочени към клиента, трябва внимателно да разкриват тези разлики. Повечето потребители не искат да четат необработена телеметрия на доставчика, но трябва да разберат защо разходите се променят, когато дадено приложение започне да използва повторно контекста по-ефективно. Най-добрият интерфейс може да бъде разбивка на разходите, която показва спестявания на кеш и разходи за създаване на кеш, без да принуждава клиентите да научават терминологията на всеки доставчик.

Има и оперативни последици за предупрежденията и ограниченията. Бюджетен лимит на клиента, базиран само на общия брой токени, може да не успее да улови работно натоварване, което записва скъпи записи в кеша. Сигнал за марж, базиран само на броя на заявките, може да пропусне несъответствие в цените на доставчика. За екипи, които продават достъп чрез ключове за всеки клиент, счетоводството, съобразено с кеша, трябва да бъде обвързано със същия клиент, проект или идентификатори на приложение, използвани за контрол на разходите.

Какво остава отворено

Регистрът на промените установява поддръжка за персонализирани скорости за четене и запис в кеша, но не разрешава всеки въпрос за внедряване за операторите на шлюз. Екипите все още трябва да тестват как техните конкретни доставчици отчитат използването на кеша, как изчислените разходи на Cloudflare се появяват в регистрационни файлове и експорти и как съществуващите фактури трябва да се сравняват с новите полета за потребителски разходи.

По-голямата посока обаче е ясна. Таксуването на AI шлюз се премества от обикновен токенметър към подробна книга за използването. Ценообразуването в кеша вече е част от тази книга. Екипите, които запазват детайлите, ще имат по-чисто съгласуване и по-добър анализ на клиентите. Екипите, които го свиват, може да не забележат проблема, докато сметката на доставчика им и фактурата на клиента спрат да разказват една и съща история.