Cloudflare je dodal stopnje žetonov za branje in pisanje predpomnilnika v računovodstvo stroškov po meri prehoda AI Gateway, majhen element dnevnika sprememb z velikimi posledicami zaračunavanja za ekipe, ki preprodajajo, usmerjajo ali usklajujejo uporabo modela med ponudniki.

Posodobitev 9. septembra pomeni, da lahko razvijalci zdaj posredujejo per_cache_read_token in Vrednosti per_cache_write_token v glavi cf-aig-custom-cost. Ko je prisotna katera koli stopnja, specifična za predpomnilnik, Cloudflare pravi, da AI Gateway aktivira določanje cen žetonov predpomnilnika in upošteva razlike med ponudniki, tako da se ista uporaba predpomnilnika ne šteje dvakrat.

To se sliši ozko. ni. Cene predpomnilnika so postale eden težjih delov poenotenega obračunavanja API-ja AI, zlasti ker ponudniki uporabljajo različna imena, enote in pravila obračunavanja za ponovno uporabljen kontekst. Obravnavanje vsakega predpomnjenega žetona kot običajnega vhodnega žetona je lahko preprosto, vendar je lahko dovolj napačno, da izbriše maržo preprodajalca ali zavede stranke o tem, katere delovne obremenitve so dejansko drage.

Kaj se je spremenilo

AI Gateway je že dovoljeval pripenjanje podatkov o stroških po meri zahtevam, kar je ekipam omogočilo, da predstavljajo dogovorjene cene ali interne knjige cen, namesto da bi se zanašale le na cene javnih ponudnikov. Nova sprememba razširja ta mehanizem na kategorije žetonov, specifičnih za predpomnilnik.

V praksi lahko operater prehoda Cloudflareju zdaj pove ne le, koliko stane vhodni ali izhodni žeton, temveč tudi, koliko stane branje ali pisanje predpomnilnika. Ta razlika je pomembna, ker ponudniki vse bolj cenijo takojšnje predpomnjenje kot lastno gospodarsko plast. Pisanje v predpomnilnik lahko stane več kot branje predpomnilnika. Branje predpomnilnika je lahko dramatično cenejše od novega vnosa. Nekateri ponudniki lahko različno izpostavijo ustvarjanje predpomnilnika in pridobivanje predpomnilnika v zapisih o uporabi.

Pomembna je tudi opomba družbe Cloudflare, da obravnava razlike med ponudniki, da se izogne ​​dvojnemu štetju. Polja predpomnilnika niso vedno jasno ločena od vsot vnosnih žetonov. Če sistem zaračunavanja naivno doda žetone predpomnilnika poleg uporabe vnosa, ki jo poroča ponudnik, lahko strankam zaračuna preveč ali poveča notranje stroške. Če ignorira polja predpomnilnika, lahko podceni stroške aplikacij z dolgim ​​kontekstom, ki pogosto ustvarjajo vnose v predpomnilnik.

Zakaj je obračunavanje predpomnilnika zdaj pomembno

Takojšnje predpomnjenje je bilo nekoč podrobnost optimizacije. Za številne proizvodne delovne obremenitve je zdaj del cenovne arhitekture.

Dolgi sistemski pozivi, kontekst, razširjen s pridobivanjem, repozitoriji agentov za kodiranje, paketi pravnih dokumentov in podporne baze znanja imajo koristi od ponovne uporabe konteksta. Več ponavljajočega se konteksta, kot pošlje sistem, bolj se cena predpomnilnika spremeni v ekonomiko realne enote. Dve zahtevi s podobnim številom žetonov imata lahko zelo različne stroške, če ena piše vnos v predpomnilnik, druga pa bere iz njega.

Zaradi tega je vidnost predpomnilnika finančna težava, ne le inženirska. Ekipa, ki izvaja notranje agente, bo morda morala vedeti, ali je nov potek dela drag, ker ustvarja preveč svežih pozivov, pogreša predpomnilnik ali prepogosto zapisuje velike bloke predpomnilnika. Preprodajalec bo morda moral strankam pokazati, zakaj je zaračunana uporaba ene aplikacije nižja od pričakovane, čeprav je navidezna velikost poziva velika. Prodajalec prehoda bo morda moral ohraniti predpomnilniška polja v dnevnikih, analitiki in zapisih glavne knjige, da se uskladitev ob koncu meseca ujema z računi ponudnika.

Tukaj postane tudi analitika stroškov API-ja AI zahtevnejša. Skupni stroški zahteve ne zadoščajo več. Ekipe morajo ločeno videti vnos, izhod, zapisovanje v predpomnilnik in branje v predpomnilniku, nato te kategorije povezati s ključi API, strankami, modeli in potmi.

Koga to zadeva

Neposredna ciljna skupina so uporabniki Cloudflare AI Gateway, ki se zanašajo na stroške po meri in ne na privzete javne cene. To vključuje podjetja z dogovorjenimi cenami modelov, platforme, ki označujejo uporabo ponudnika za stranke, in ekipe, ki uporabljajo Cloudflare kot skupno nadzorno ravnino med več ponudniki modelov.

Preprodajalci so še posebej izpostavljeni. Če preprodajalec strankam zaračunava uporabo poenostavljenega modela žetonov, medtem ko ponudnikom plačuje po cenah, ki upoštevajo predpomnilnik, se lahko razlika tiho kopiči. Prenizki stroški zapisovanja v predpomnilnik ali previsoki stroški branja predpomnilnika se morda ne bodo pojavili v eni sami zahtevi, vendar je to lahko pomembno med sejami agenta, paketno obdelavo ali obremenitvami pridobivanja velikih količin.

Razvijalci, ki gradijo sloje prehoda, združljive z OpenAI, so prizadeti, tudi če ne uporabljajo neposredno Cloudflare. Sprememba odraža širšo usmeritev na trgu: obračunske površine ponudnikov postajajo bolj natančne, medtem ko stranke še vedno pričakujejo čiste račune in predvidljiva poročila o uporabi.Izdelki, kot je Model Gate, morajo obravnavati polja žetonov predpomnilnika kot prvorazredne podatke o glavni knjigi, če želijo natančno poročanje v obsegu stranke, omejitve uporabe in analizo marž pri več ponudnikih.

Praktične posledice

Skupine prehodov bi morale pregledati, kako njihovi dnevniki zahtev, kalkulatorji stroškov in računi predstavljajo dejavnost predpomnilnika. Če so branja in pisanja predpomnilnika sploščena v običajne žetone poziva, je analitika morda videti preprostejša od osnovnega računa. Če zapisi o uporabi ponudnika vsebujejo polja predpomnilnika, ki so med vnosom izpuščena, bo kasnejša uskladitev težavna.

Mehanizmi za določanje cen morajo podpirati tudi več kot eno stopnjo na smer. Stara delitev input-versus-output ne zadostuje več za napredno modeliranje računovodstva. Verodostojen model glavne knjige zdaj potrebuje prostor za nove vhodne žetone, izhodne žetone, zapise v predpomnilnik, branja predpomnilnika in morebitne različice teh kategorij, specifične za ponudnika.

Nadzorne plošče, namenjene strankam, bi morale te razlike natančno izpostaviti. Večina uporabnikov ne želi brati neobdelane telemetrije ponudnika, vendar morajo razumeti, zakaj se stroški spremenijo, ko aplikacija začne učinkoviteje ponovno uporabljati kontekst. Najboljši vmesnik je lahko razčlenitev stroškov, ki prikazuje prihranke predpomnilnika in stroške ustvarjanja predpomnilnika, ne da bi stranke prisilila, da se naučijo terminologije vsakega ponudnika.

Obstajajo tudi operativne posledice za opozorila in omejitve. Omejitev proračuna stranke, ki temelji samo na skupnem številu žetonov, morda ne bo uspela ujeti delovne obremenitve, ki piše drage vnose v predpomnilnik. Opozorilo o marži, ki temelji samo na številu zahtev, lahko zgreši neusklajenost cen ponudnika. Za ekipe, ki prodajajo dostop prek ključev za posamezne stranke, bi moralo biti računovodstvo, ki upošteva predpomnilnik, povezano z istimi identifikatorji strank, projektov ali aplikacij, ki se uporabljajo za nadzor porabe.

Kaj ostaja odprto

Dnevnik sprememb vzpostavlja podporo za stopnje branja in pisanja v predpomnilnik po meri, vendar ne reši vseh vprašanj implementacije za operaterje prehodov. Ekipe morajo še preizkusiti, kako njihovi specifični ponudniki poročajo o uporabi predpomnilnika, kako so izračunani stroški Cloudflare prikazani v dnevnikih in izvozih ter kako je treba obstoječe račune primerjati z novimi polji s stroški po meri.

Vendar je širša smer jasna. Obračun prehoda AI se premika od preprostega števca žetonov k podrobni knjigi uporabe. Cene predpomnilnika so zdaj del te knjige. Ekipe, ki ohranijo podrobnosti, bodo imele čistejšo uskladitev in boljšo analitiko strank. Ekipe, ki to strnejo, morda ne bodo opazile težave, dokler njihov račun ponudnika in račun stranke ne prenehata govoriti iste zgodbe.