<п>Цлоудфларе је додао стопе токена за читање и уписивање у кеш меморију у прилагођено обрачунавање трошкова АИ Гатеваи-а, малу ставку дневника промена са великим последицама наплате за тимове који препродају, усмеравају или усклађују употребу модела међу провајдерима.<п>Ажурирање од 9. септембра значи да програмери сада могу да проследе <цоде>ен_цацхе_реад_ток>и. <цоде>пер_цацхе_врите_токен вредности у заглављу <цоде>цф-аиг-цустом-цост. Када је присутна било која стопа специфична за кеш, Цлоудфларе каже да АИ Гатеваи активира цене кеш токена и узима у обзир разлике између добављача, тако да се иста употреба кеша не рачуна два пута.<п>То звучи уско. Није. Одређивање цена у кеш меморији постало је један од тежих делова <а хреф="/ен/топицс/унифиед-аи-апи-биллинг/">обједињеног АИ АПИ обрачуна, посебно зато што добављачи користе различита имена, јединице и правила обрачуна за поново коришћени контекст. Третирање сваког кешираног токена као нормалног улазног токена може бити једноставно, али може бити довољно погрешно да избрише маржу препродавца или обмане купце о томе која су оптерећења заправо скупа.<х2>Шта се променило<п>АИ Гатеваи је већ дозволио да се подаци о прилагођеним трошковима додају захтевима, дајући тимовима начин да представљају преговарачке цене или дају само интерне књиге цена на јавним књигама. Нова промена проширује тај механизам на категорије токена специфичне за кеш.<п>У пракси, оператер мрежног пролаза сада може да каже Цлоудфларе-у не само шта кошта улазни или излазни токен, већ и колико кошта читање или уписивање у кеш меморију. Та разлика је важна јер провајдери све више цене брзо кеширање као сопствени економски слој. Уписивање у кеш меморију може коштати више од читања у кеш меморији. Читање кеша може бити драматично јефтиније од свежег уноса. Неки провајдери могу другачије да излажу креирање кеша и преузимање кеша у записима о коришћењу.<п>Напомена Цлоудфларе-а да обрађује разлике између добављача како би се избегло двоструко рачунање је такође важна. Поља кеша нису увек јасно одвојена од укупних улазних токена. Ако систем наплате наивно додаје кеш токене поврх употребе уноса коју пријави провајдер, може пренаплатити клијенте или повећати интерне трошкове. Ако игнорише поља кеш меморије, може да потцени цену апликација дугог контекста које често креирају уносе у кеш.<х2>Зашто је рачуноводство кеша сада важно<п>Брзо кеширање је некада било детаљ оптимизације. За многа производна радна оптерећења, то је сада део архитектуре цена.<п>Дуге системске промптове, проширени контекст за преузимање, ризнице агената за кодирање, пакети правних докумената и базе знања подршке имају користи од поновног коришћења контекста. Што више контекста који се понавља систем шаље, то више цена кеша мења стварну економију јединице. Два захтева са сличним бројем токена могу имати веома различите трошкове ако један пише унос у кеш, а други чита из њега.<п>То чини видљивост кеша финансијским, а не само инжењерским проблемом. Тим који покреће интерне агенте ће можда морати да зна да ли је нови ток посла скуп јер генерише превише свежих упита, пропушта кеш или пречесто пише велике блокове кеша. Препродавац ће можда морати да покаже клијентима зашто је наплаћена употреба једне апликације мања од очекиване иако је њена привидна величина упита велика. Продавац мрежног пролаза ће можда морати да сачува поља кеша у евиденцији, аналитици и евиденцији главне књиге како би усаглашавање на крају месеца одговарало фактурама добављача.<п>Овде такође постаје захтевнија <а хреф="/ен/топицс/аи-апи-усаге-аналитицс-дасхбоард/">аналитика трошкова АИ АПИ-ја. Укупна цена захтева више није довољна. Тимови морају одвојено да виде унос, излаз, писање у кеш меморији и читање у кеш меморији, а затим да повежу те категорије са АПИ кључевима, клијентима, моделима и рутама.<х2>Ко је погођен<п>Непосредна публика су корисници Цлоудфларе АИ Гатеваи-а који се ослањају на прилагођене трошкове, а не на подразумеване јавне цене. То укључује предузећа са уговореним ценама модела, платформе које означавају коришћење провајдера за клијенте и тимове који користе Цлоудфларе као заједнички ниво контроле за више добављача модела.<п>Препродавци су посебно изложени. Ако препродавац наплаћује клијентима користећи поједностављени модел токена док плаћа провајдерима по ценама које су свесне кеш меморији, разлика се може тихо акумулирати. Недовољно пуњење у кеш меморији или читање у кеш меморији се можда неће појавити у једном захтеву, али то може бити важно у свим сесијама агента, групној обради или обимним радним оптерећењима преузимања.<п>Програмери који граде слојеве мрежног пролаза компатибилне са ОпенАИ-ом су погођени чак и када не користе директно Цлоудфларе. Промена одражава шири правац на тржишту: површине за наплату добављача постају детаљније, док купци и даље очекују чисту фактуру и предвидљиве извештаје о коришћењу.Производи као што је Модел Гате треба да третирају поља токена кеша као првокласне податке главне књиге ако желе тачно извештавање на нивоу корисника, ограничења коришћења и анализу марже код више добављача.<х2>Практичне последице<п>Тимови мрежног пролаза треба да прегледају како њихови евиденције захтева, калкулатори трошкова и фактуре представљају активност кеша. Ако се кеш чита и уписује у обичне промпт токене, аналитика може изгледати једноставније од основног рачуна. Ако записи о коришћењу добављача садрже кеш поља која се испуштају током уноса, касније усаглашавање ће бити тешко.<п>Мотори за одређивање цена такође морају да подржавају више од једне стопе по правцу. Стара подела улаза и излаза више није довољна за напредни модел рачуноводства. Веродостојној књизи модела сада је потребан простор за нове улазне токене, излазне токене, уписивање у кеш меморију, читање у кеш меморији и могуће варијанте ових категорија специфичних за провајдера.<п>Контролне табле окренуте клијентима треба пажљиво да разоткрију ове разлике. Већина корисника не жели да чита необрађену телеметрију добављача, али треба да разуме зашто се трошкови мењају када апликација почне да ефикасније користи контекст. Најбољи интерфејс може бити анализа трошкова која приказује уштеду кеша и трошкове креирања кеша без присиљавања купаца да науче терминологију сваког добављача.<п>Постоје и оперативне импликације за упозорења и ограничења. Ограничење буџета корисника засновано само на укупним токенима можда неће успети да ухвати радно оптерећење које уписује скупе уносе у кеш. Упозорење о маржи засновано само на броју захтева може пропустити неусклађеност цена добављача. За тимове који продају приступ преко кључева по клијенту, рачуноводство кеш-свестан треба да буде везано за исте идентификаторе корисника, пројекта или апликације који се користе за контролу потрошње.<х2>Оно што остаје отворено<п>Евиденција промена успоставља подршку за прилагођене стопе читања и кеширања, али не решава свако питање имплементације оператера за гатеваи. Тимови још увек треба да тестирају како њихови специфични провајдери извештавају о коришћењу кеша, како се израчунати трошкови Цлоудфларе-а појављују у евиденцији и извозу и како постојеће фактуре треба да се упореде са новим пољима прилагођених трошкова.<п>Мађутим, шири правац је јасан. Наплата АИ приступника се креће од једноставног мерача токена ка детаљној књизи коришћења. Цене кеша сада су део те књиге. Тимови који чувају детаље имаће чистије помирење и бољу аналитику купаца. Тимови који га сруше можда неће приметити проблем све док њихов рачун добављача и фактура клијента не престану да причају исту причу.