Cloudflare ir pievienojis kešatmiņā lasīšanas un rakstīšanas pilnvaras tarifus AI Gateway pielāgotajai izmaksu uzskaitei — nelielam izmaiņu žurnāla vienumam ar lielām rēķinu sekām komandām, kuras pārdod tālāk, maršrutē vai saskaņo modeļu izmantošanu starp pakalpojumu sniedzējiem.
9. septembra atjauninājums nozīmē, ka izstrādātāji tagad var nodot per_tokcache_re> per_cache_write_token vērtības cf-aig-custom-cost galvenē. Ja ir pieejams kāds no kešatmiņas rādītājiem, Cloudflare saka, ka AI Gateway aktivizē kešatmiņas marķiera cenu noteikšanu un ņem vērā pakalpojumu sniedzēja atšķirības, tāpēc viens un tas pats kešatmiņas lietojums netiek uzskaitīts divreiz.
Tas izklausās šauri. Tā nav. Cenu noteikšana kešatmiņā ir kļuvusi par vienu no grūtākajām vienotā AI API norēķinu daļām, jo īpaši tāpēc, ka pakalpojumu sniedzēji atkārtoti izmantotā kontekstā izmanto dažādus nosaukumus, vienības un norēķinu noteikumus. Katra kešatmiņā saglabātā marķiera uzskatīšana par parastu ievades pilnvaru var būt vienkārša, taču tā var būt pietiekami kļūdaina, lai dzēstu tālākpārdevēja rezervi vai maldinātu klientus par to, kuras darba slodzes patiesībā ir dārgas.
Kas mainījās
AI Gateway jau atļāva pieprasījumiem pievienot pielāgotus izmaksu datus, dodot komandām iespēju attēlot sarunātos tarifus vai iekšējās cenu grāmatas, nevis paļauties tikai uz publiskajiem pakalpojumu sniedzējiem. Jaunās izmaiņas paplašina šo mehānismu, attiecinot to uz kešatmiņai specifiskām pilnvaru kategorijām.
Praksē vārtejas operators tagad var pateikt Cloudflare ne tikai to, cik maksā ievades vai izvades pilnvaras, bet arī to, cik maksā lasīšana vai rakstīšana kešatmiņā. Šai atšķirībai ir nozīme, jo pakalpojumu sniedzēji arvien biežāk nosaka kešatmiņu kā savu ekonomisko slāni. Kešatmiņas rakstīšana var maksāt vairāk nekā lasīšana kešatmiņā. Kešatmiņas lasīšana var būt ievērojami lētāka nekā jauna ievade. Daži pakalpojumu sniedzēji lietojuma ierakstos var atšķirīgi parādīt kešatmiņas izveidi un kešatmiņas izgūšanu.
Svarīga ir arī Cloudflare piezīme, ka tas apstrādā pakalpojumu sniedzēju atšķirības, lai izvairītos no dubultas uzskaites. Kešatmiņas lauki ne vienmēr ir skaidri nodalīti no ievades marķiera kopsummas. Ja norēķinu sistēma naivi pievieno kešatmiņas marķierus papildus pakalpojumu sniedzēja ziņotajam ievades lietojumam, tā var pārmaksāt klientiem vai palielināt iekšējās izmaksas. Ja tiek ignorēti kešatmiņas lauki, var tikt novērtētas pārāk zemas izmaksas par gara konteksta lietojumprogrammām, kuras bieži veido kešatmiņas ierakstus.
Kāpēc kešatmiņas uzskaitei tagad ir nozīme
Agrāk ātra kešatmiņa bija optimizācijas detaļa. Daudzām ražošanas slodzēm tā tagad ir daļa no cenu arhitektūras.
Ilgas sistēmas uzvednes, izguves paplašinātais konteksts, kodēšanas aģentu krātuves, juridisko dokumentu pakotnes un atbalsta zināšanu bāzes — tas viss gūst labumu no konteksta atkārtotas izmantošanas. Jo vairāk atkārtota konteksta sistēma nosūta, jo vairāk kešatmiņas cenas maina reālo vienības ekonomiku. Diviem pieprasījumiem ar līdzīgu pilnvaru skaitu var būt ļoti atšķirīgas izmaksas, ja viens raksta kešatmiņas ierakstu, bet otrs lasa no tā.
Tādēļ kešatmiņas redzamība ir finanšu, nevis tikai inženierijas problēma. Komandai, kurā darbojas iekšējie aģenti, iespējams, būs jāzina, vai jauna darbplūsma ir dārga, jo tā ģenerē pārāk daudz jaunu uzvedņu, palaiž garām kešatmiņu vai pārāk bieži raksta lielus kešatmiņas blokus. Tālākpārdevējam, iespējams, būs jāparāda klientiem, kāpēc vienas lietojumprogrammas rēķinā izmantotais lietojums ir mazāks, nekā paredzēts, lai gan šķiet, ka uzvednes lielums ir liels. Vārtejas pārdevējam, iespējams, būs jāsaglabā kešatmiņas lauki žurnālos, analīzēs un virsgrāmatas ierakstos, lai mēneša beigu saskaņošana atbilstu pakalpojumu sniedzēja rēķiniem.
Šajā gadījumā AI API izmaksu analīze kļūst arvien prasīgāka. Ar kopējām pieprasījuma izmaksām vairs nepietiek. Komandām atsevišķi jāredz ievades, izvades, kešatmiņas rakstīšanas un lasīšanas darbības kešatmiņā, pēc tam šīs kategorijas jāsaista ar API atslēgām, klientiem, modeļiem un maršrutiem.
Ietekmētie lietotāji
Tiešā mērķauditorija ir Cloudflare AI Gateway lietotāji, kuri paļaujas uz pielāgotām izmaksām, nevis uz noklusējuma publiskajām cenām. Tas ietver uzņēmumus ar sarunātiem modeļu tarifiem, platformas, kas klientiem atzīmē pakalpojumu sniedzēja lietojumu, un komandas, kas izmanto Cloudflare kā kopīgu vadības plakni vairākiem modeļu nodrošinātājiem.
Īpaši pakļauti ir tālākpārdevēji. Ja tālākpārdevējs iekasē maksu no klientiem, izmantojot vienkāršotu marķiera modeli, vienlaikus maksājot pakalpojumu sniedzējiem saskaņā ar kešatmiņas cenām, atšķirība var mierīgi uzkrāties. Nepietiekama kešatmiņas rakstīšana vai pārmērīga kešatmiņas lasīšana var netikt parādīta vienā pieprasījumā, taču tam var būt nozīme aģenta sesijās, pakešu apstrādē vai liela apjoma izguves slodzēs.
Izstrādātāji, kas veido ar OpenAI saderīgus vārtejas slāņus, tiek ietekmēti pat tad, ja viņi tieši neizmanto Cloudflare. Izmaiņas atspoguļo plašāku virzienu tirgū: pakalpojumu sniedzēju norēķinu virsmas kļūst arvien detalizētākas, savukārt klienti joprojām sagaida tīru rēķinu un paredzamus lietošanas pārskatus.Tādos produktos kā Model Gate kešatmiņas pilnvaru lauki ir jāuzskata par pirmšķirīgiem virsgrāmatas datiem, ja tie vēlas precīzus klientu tvēruma pārskatus, lietošanas ierobežojumus un peļņas analīzi vairākiem pakalpojumu sniedzējiem.
Praktiskās sekas
Vārtejas komandām jāpārskata, kā viņu pieprasījumu žurnāli, izmaksu kalkulatori un rēķini atspoguļo kešatmiņas darbības. Ja kešatmiņas lasīšana un rakstīšana tiek saplacināta parastos uzvednes marķieros, analīze var izskatīties vienkāršāka nekā pamatā esošais rēķins. Ja pakalpojumu sniedzēja lietojuma ierakstos ir ietverti kešatmiņas lauki, kas pārsūtīšanas laikā tiek atmesti, vēlāka saskaņošana būs sarežģīta.
Cenu noteikšanas programmām arī ir jāatbalsta vairāk nekā viena likme katrā virzienā. Ar veco ievades un izvades sadalījumu vairs nepietiek uzlabotai modeļa uzskaitei. Uzticamam modeļu virsgrāmatā tagad ir nepieciešama vieta jauniem ievades marķieriem, izvades marķieriem, ierakstīšanai kešatmiņā, lasīšanai kešatmiņā un, iespējams, šo kategoriju nodrošinātājam specifiskiem variantiem.
Klientiem paredzētajos informācijas paneļos šīs atšķirības ir rūpīgi jāatklāj. Lielākā daļa lietotāju nevēlas lasīt neapstrādātu pakalpojumu sniedzēja telemetriju, taču viņiem ir jāsaprot, kāpēc izmaksas mainās, kad lietojumprogramma sāk efektīvāk izmantot kontekstu. Labākais interfeiss var būt izmaksu sadalījums, kas parāda kešatmiņas ietaupījumu un kešatmiņas izveides izmaksas, nepiespiežot klientus apgūt katra pakalpojumu sniedzēja terminoloģiju.
Ir arī darbības ietekme uz brīdinājumiem un ierobežojumiem. Klienta budžeta ierobežojums, kura pamatā ir tikai kopējie marķieri, var neizdoties noķert darba slodzi, kas raksta dārgus kešatmiņas ierakstus. Maržas brīdinājums, kas balstīts tikai uz pieprasījumu skaitu, var nepamanīt pakalpojumu sniedzēja cenu neatbilstību. Komandām, kas pārdod piekļuvi, izmantojot katra klienta atslēgas, kešatmiņas uzskaite ir jāsaista ar tiem pašiem klienta, projekta vai lietojumprogrammas identifikatoriem, kas tiek izmantoti tēriņu kontrolei.
Kas paliek atklāts
Izmaiņu žurnāls nodrošina atbalstu kešatmiņā lasīšanas un rakstīšanas kešatmiņā pielāgotajām likmēm, taču tas neatrisina visus vārtejas ieviešanas operatoru jautājumus. Komandām joprojām ir jāpārbauda, kā viņu konkrētie pakalpojumu sniedzēji ziņo par kešatmiņas lietojumu, kā Cloudflare aprēķinātās izmaksas parādās žurnālos un eksportēšanā un kā esošie rēķini jāsalīdzina ar jaunajiem pielāgoto izmaksu laukiem.
Tomēr plašāks virziens ir skaidrs. AI vārtejas norēķini no vienkārša marķiera mērītāja pāriet uz detalizētu lietošanas virsgrāmatu. Kešatmiņas cenas tagad ir daļa no šīs virsgrāmatas. Komandām, kas saglabā detaļas, būs tīrāka saskaņošana un labāka klientu analīze. Komandas, kas to sakļauj, var nepamanīt problēmu, līdz viņu pakalpojumu sniedzēja rēķins un klienta rēķins vairs nestāsta vienu un to pašu.