Cloudflare on lisanud vahemällu lugemise ja vahemällu kirjutamise lubade määrad AI Gateway kohandatud kuluarvestusse, mis on väike muudatuste logi üksus, millel on suured arveldamise tagajärjed meeskondadele, kes müüvad edasi, suunavad või lepitavad mudelikasutust pakkujate vahel.

9. septembri värskendus tähendab, et arendajad saavad nüüd edastada per_tokenper_cache_write_token väärtused päises cf-aig-custom-cost. Kui on olemas kumbki vahemäluspetsiifiline määr, siis Cloudflare ütleb, et AI Gateway aktiveerib vahemälu märgi hinnakujunduse ja arvestab pakkuja erinevustega, nii et sama vahemälu kasutust ei arvestata kaks korda.

See kõlab kitsalt. Ei ole. Vahemälu hinnakujundusest on saanud ühtse AI API arvelduse üks raskemaid osi, eriti kuna pakkujad kasutavad korduvkasutatud konteksti jaoks erinevaid nimesid, ühikuid ja arveldusreegleid. Iga vahemällu salvestatud märgi käsitlemine tavalise sisendmärgina võib olla lihtne, kuid see võib olla piisavalt vale, et kustutada edasimüüja marginaal või eksitada kliente selle osas, millised töökoormused on tegelikult kallid.

Mis muutus

AI Gateway lubas juba kohandatud kuluandmeid taotlustele lisada, andes meeskondadele võimaluse esitada läbirääkimistel hindu või sisemisi hinnaraamatuid, selle asemel et tugineda ainult avalikele pakkujatele. Uus muudatus laiendab seda mehhanismi vahemälu spetsiifilistele märgikategooriatele.

Praktikas saab lüüsioperaator nüüd Cloudflare'ile öelda mitte ainult seda, kui palju maksab sisend- või väljundmärk, vaid ka vahemällu lugemine või vahemällu kirjutamine. See eristamine on oluline, sest pakkujad hindavad üha enam vahemällu kui oma majanduslikku kihti. Vahemällu kirjutamine võib maksta rohkem kui vahemälu lugemine. Vahemälu lugemine võib olla oluliselt odavam kui värske sisend. Mõned pakkujad võivad kasutuskirjetes avaldada vahemälu loomise ja vahemälu taastamise erinevalt.

Tähtis on ka Cloudflare'i märkus, et see käsitleb teenusepakkujate erinevusi topeltloendamise vältimiseks. Vahemälu väljad ei ole alati sisendmärgi kogusummadest selgelt eraldatud. Kui arveldussüsteem lisab teenusepakkuja teatatud sisendkasutusele naiivselt vahemälu märgid, võib see klientidelt üle maksta või suurendada sisekulusid. Kui see eirab vahemäluvälju, võib see alahinnata pika kontekstiga rakenduste maksumust, mis loovad sageli vahemälukirjeid.

Miks on vahemälu arvestus praegu oluline

Kiire vahemällu salvestamine oli varem optimeerimise detail. Paljude tootmistöökoormuste puhul on see nüüd osa hinnaarhitektuurist.

Konteksti taaskasutamisest saavad kasu pikad süsteemiviibad, otsinguga täiendatud kontekst, kodeerimisagentide hoidlad, juriidiliste dokumentide paketid ja tugiteadmiste baasid. Mida rohkem korduvat konteksti süsteem saadab, seda rohkem muudab vahemälu hinnakujundus tegelikku ühikumajandust. Kahel sarnase lubade arvuga päringul võivad olla väga erinevad kulud, kui üks kirjutab vahemälu kirjet ja teine ​​loeb seda.

See muudab vahemälu nähtavuse finantsprobleemiks, mitte ainult inseneriprobleemiks. Siseagente kasutaval meeskonnal võib olla vaja teada, kas uus töövoog on kallis, kuna see genereerib liiga palju värskeid viipasid, jätab vahele vahemälu või kirjutab liiga sageli suuri vahemäluplokke. Edasimüüjal võib olla vaja klientidele näidata, miks ühe rakenduse arveldatud kasutus on oodatust väiksem, kuigi selle näiv viipa suurus on suur. Lüüsi tarnijal võib tekkida vajadus säilitada vahemälu väljad logides, analüüsides ja pearaamatukirjetes, et kuulõpu vastavus viidaks teenusepakkuja arvetele.

Siit on ka AI API kuluanalüütika nõudlikum. Taotluse kogumaksumusest enam ei piisa. Meeskonnad peavad eraldi nägema sisendit, väljundit, vahemällu kirjutamise ja vahemälu lugemise käitumist ning seejärel ühendama need kategooriad API-võtmete, klientide, mudelite ja marsruutidega.

Keda see mõjutab

Vaheseks vaatajaskonnaks on Cloudflare AI Gateway kasutajad, kes sõltuvad kohandatud kuludest, mitte avalikust vaikehinnast. See hõlmab ettevõtteid, mille mudelihinnad on kokku lepitud, platvorme, mis märgivad klientide jaoks teenusepakkuja kasutust, ja meeskondi, mis kasutavad Cloudflare'i mitme mudelipakkuja jagatud juhtimistasandina.

Eelkõige puutuvad kokku edasimüüjad. Kui edasimüüja võtab klientidelt tasu, kasutades lihtsustatud märgimudelit, tasudes samal ajal pakkujatele vahemälupõhise hinnakujunduse alusel, võib vahe vaikselt koguneda. Vahemälu alatasuline kirjutamine või ülelaadimine vahemälu lugemisi ei pruugi ilmuda ühes päringus, kuid see võib olla oluline agendiseansside, paketttöötluse või suure mahuga toomise töökoormuse puhul.

OpenAI-ga ühilduvaid lüüsikihte loovaid arendajaid mõjutab see isegi siis, kui nad Cloudflare'i otse ei kasuta. Muudatus peegeldab turu laiemat suunda: pakkujate arvelduspinnad muutuvad järjest detailsemaks, samas kui kliendid ootavad endiselt puhast arvet ja prognoositavaid kasutusaruandeid.Tooted, nagu Model Gate, peavad käsitlema vahemälu märgivälju esmaklassiliste pearaamatuandmetena, kui nad soovivad täpset kliendi ulatust hõlmavat aruandlust, kasutuspiiranguid ja marginaalianalüüsi mitme teenusepakkuja vahel.

Praktilised tagajärjed

Lüüsimeeskonnad peaksid üle vaatama, kuidas nende taotluste logid, kulukalkulaatorid ja arved kajastavad vahemälu tegevust. Kui vahemälu lugemine ja kirjutamine jaotatakse tavalisteks viipade märkideks, võib analüüs näida lihtsam kui selle aluseks olev arve. Kui teenusepakkuja kasutuskirjed sisaldavad vahemäluvälju, mis sisestamise ajal välja jäetakse, on hilisem kooskõlastamine keeruline.

Hinnakujundusmootorid peavad toetama ka rohkem kui üht tariifi suuna kohta. Vanast sisend-väljund-jaotusest ei piisa enam täiustatud mudeliarvestuse jaoks. Usaldusväärne mudelreskontra vajab nüüd ruumi värskete sisendtunnuste, väljundmärkide, vahemällu kirjutamise, vahemälu lugemise ja võimaluse korral ka nende kategooriate pakkujaspetsiifiliste variantide jaoks.

Kliendile suunatud armatuurlauad peaksid neid erinevusi hoolikalt paljastama. Enamik kasutajaid ei soovi toores pakkuja telemeetriat lugeda, kuid nad peavad mõistma, miks kulud muutuvad, kui rakendus hakkab konteksti tõhusamalt taaskasutama. Parim liides võib olla kulude jaotus, mis näitab vahemälu kokkuhoidu ja vahemälu loomise kulusid, sundimata kliente õppima iga teenusepakkuja terminoloogiat.

Samuti mõjutavad hoiatused ja piirangud tegevust. Kliendi eelarvelimiit, mis põhineb ainult žetoonide koguarvul, võib ebaõnnestuda töökoormusel, mis kirjutab kalleid vahemälukirjeid. Ainult taotluste arvul põhinev marginaalhoiatus võib pakkuja hinnakujunduse mittevastavusest ilma jääda. Meeskondade puhul, kes müüvad juurdepääsu kliendipõhiste võtmete kaudu, peaks vahemälu teadlik raamatupidamisarvestus olema seotud sama kliendi, projekti või rakenduse identifikaatoritega, mida kasutatakse kulutuste kontrollimiseks.

Mis jääb avatuks

Muudatustelogi abil luuakse tugi vahemällu lugemise ja vahemällu kirjutamise kohandatud tariifidele, kuid see ei lahenda kõiki väravate juurutusoperaatoreid. Meeskonnad peavad veel testima, kuidas nende konkreetsed pakkujad vahemälu kasutust teatavad, kuidas Cloudflare'i arvutatud kulud logides ja ekspordis kuvatakse ning kuidas olemasolevaid arveid tuleks võrrelda uute kohandatud kuluväljadega.

Kuid laiem suund on selge. AI lüüsi arveldamine liigub lihtsalt märgimõõtjalt üksikasjaliku kasutusraamatu poole. Vahemälu hinnakujundus on nüüd selle pearaamatu osa. Meeskondadel, kes säilitavad detaili, on puhtam leppimine ja parem kliendianalüüs. Meeskonnad, kes selle kokku tõmbavad, ei pruugi probleemi märgata enne, kui nende teenusepakkuja arve ja kliendi arve ei räägi enam sama juttu.