Cloudflare je spremenil način, kako je uporaba prehoda AI Gateway prikazana na mesečnih računih, in prilagoditev je bolj operativno pomembna, kot je morda videti na prvi pogled. V vnosu v dnevniku sprememb 1. septembra je družba povedala, da mesečni računi za uporabo zdaj prikazujejo eno vrstično postavko skupnih stroškov na model, namesto ločenih vrstičnih postavk za vhodne in izhodne žetone. Cloudflare je tudi povedal, da ima standardizirana imena modelov v računih in dnevnikih z uporabo doslednega identifikatorja ponudnika/modela.

Sprememba ne velja za račune za nakupe kreditov AI Gateway. Gre za mesečne račune za uporabo: zapise, ki jih finančne ekipe, skupine za platforme in preprodajalci uporabljajo za usklajevanje porabe, potem ko je promet že šel skozi prehod.

Za stranke, ki potrebujejo samo račun na visoki ravni, bo nova oblika morda lažja za branje. Za ekipe, ki izračunavajo marže, dodeljujejo stroške umetne inteligence najemnikom ali revidirajo kombinacijo žetonov glede na delovno obremenitev, se spremeni, kje mora živeti podrobna glavna knjiga. Račun postaja manj artefakt obračunavanja žetonov in bolj povzetek stroškov na ravni modela.

Kaj se je spremenilo pri zaračunavanju Cloudflare AI Gateway

Do te posodobitve so lahko mesečni računi za uporabo ločevali stroške vhodnih žetonov in izhodnih žetonov. To razlikovanje je pomembno, ker mnogi ponudniki modelov te razrede žetonov cenijo drugače. Delovna obremenitev, ki pošilja velike pozive in prejema kratke odgovore, ima drugačen stroškovni profil od tiste, ki pošilja majhne pozive in ustvarja dolge odgovore, tudi če sta oba povezana z istim modelom.

Nova struktura računa Cloudflare strne te ločene postavke vrste žetonov v eno vrstico s skupnimi stroški na model. Praktični učinek je čistejše zaračunavanje na ravni modela, vendar manj podrobnosti na ravni računa o tem, kako je bil ta strošek ustvarjen.

Hkrati standardizacija identifikatorjev modela v računih in dnevnikih obravnava drugačno, a povezano težavo: premik vzdevkov. V sistemih z več modeli se lahko isti model pojavi pod nekoliko različnimi imeni v dnevnikih, izvozih obračunavanja, nadzornih ploščah, poročilih strank in notranjih pravilih usmerjanja. Dosledna oblika poimenovanja ponudnika/modela zmanjšuje možnosti, da finančne in inženirske ekipe primerjajo en niz v dnevnikih uporabe z nekoliko drugačnim nizom na računih.

Ta del spremembe je nedvomno koristen za vsakogar, ki uporablja poenoteno obračunavanje API-ja AI. Če račun pravi eno, tok dnevnika pa drugo, postane usklajevanje ročno kartiranje. Standardni identifikatorji olajšajo zaupanje avtomatiziranim združevanjem, nadzornim ploščam in izjavam strank.

Zakaj je razdrobljenost računa pomembna

Težji kompromis je razdrobljenost žetonov. Ekipe za infrastrukturo umetne inteligence pogosto potrebujejo več, kot znaša skupni znesek, zaračunan za model. Vedeti morajo, ali je skok stroškov nastal zaradi daljših pozivov, bolj podrobnih izhodov, spremembe usmerjanja, vzorca zgrešenega predpomnilnika, nove zanke agenta ali integracije stranke, ki je začela pošiljati velike datoteke kot kontekst.

Vrstica računa na ravni modela lahko potrdi znesek dolgovanja. Samo po sebi ne more pojasniti vedenja, ki je povzročilo naboj. Ta razlaga mora izhajati iz dnevnikov, izvozov, telemetrije prehoda ali ločene knjige uporabe.

To je najpomembnejše za podjetja, ki sedijo med ponudnikom modela in končnim kupcem. Preprodajalci, interne skupine za platforme, izdelki SaaS z vdelanimi funkcijami umetne inteligence in agencije, ki upravljajo delovne obremenitve strank, potrebujejo upravičeno pripisovanje stroškov. Če njihov predhodni račun ne izpostavlja več stroškov vhodnih in izhodnih žetonov kot ločenih vrstic, morajo ohraniti to razlikovanje pred časom računa.

Ista težava velja za povratno bremenitev znotraj večjih podjetij. Finančna ekipa je morda zadovoljna s tem, da "model X stane toliko." Vodja inženiringa bo morda moral vedeti, da je določen pomočnik repozitorija, podporni bot ali delovni tok dokumenta ustvaril nenavadno količino izhodnih žetonov. To so drugačna računovodska vprašanja.

Koga to zadeva

Neposredno občinstvo so uporabniki Direct Cloudflare AI Gateway. Vsaka ekipa, ki se zanaša na mesečne račune kot glavni vir resnice o zaračunavanju, bi morala pregledati, ali nova oblika še vedno podpira njene potrebe po internem poročanju.

Operaterji prehodov in preprodajalci API-jev AI so prizadeti močneje. Če preprodajajo dostop do več modelov, izdajajo račune strankam ali uporabljajo pribitke po meri, potrebujejo lastne zapise za vsako zahtevo: identifikator modela, ponudnika, vhodne žetone, izhodne žetone, predpomnjene žetone, kjer je ustrezno, ceno na enoto, uporabljeni popust, ključ stranke, projekt, najemnik in časovni žig. Brez te glavne knjige lahko poenostavljeni predhodni račun oteži preverjanje nadaljnjega obračunavanja.

Razvijalci, ki gradijo nadzorne plošče, se soočajo s podobno prilagoditvijo. Standardizacija imena modela bi morala zmanjšati napake pri preslikavi, vendar le, če notranji sistemi sprejmejo iste kanonične identifikatorje ali vzdržujejo namerno tabelo vzdevkov.Tu postane nadzorna plošča za analizo uporabe API-ja AI več kot priročno poročanje. Postane mesto, kjer se podrobnosti, odstranjene iz računa, ohranijo, poizvedujejo in razložijo.

Za uporabnike Model Gate in podobne stranke prehodov z več ponudniki je lekcija enostavna: ne obravnavajte računa ponudnika kot edinega vira resnice. Poenoteno obračunavanje je uporabno prav zato, ker ponudniki različno oblikujejo, cenijo in izpostavljajo uporabo. Glavna knjiga na ravni prehoda omogoča ekipam, da te informacije normalizirajo, preden se stisnejo v katero koli obliko računa, ki jo izbere ponudnik.

Sprememba imena modela je lahko večji dolgoročni signal.

Posodobitev standardiziranega identifikatorja lahko preživi razpravo o obliki računa. Poimenovanje modelov postaja operativni problem v skladih AI. Ponudniki revidirajo ID-je modelov, platforme v oblaku zavijejo isti model pod imena, specifična za kanale, prehodi uvedejo vzdevke za združljivost in imena zatičev aplikacij v konfiguracijskih datotekah.

Pri poimenovanju se več stvari tiho pokvari. Poročila o stroških razdelijo en model v več vrstic. Preverjanja zastarelosti zgrešijo promet, ki še vedno uporablja starejši vzdevek. Politike usmerjanja veljajo za eno ime, za drugo pa ne. Na računih strank je prikazana oznaka, ki se ne ujema z dnevniki razvijalca.

Premik družbe Cloudflare k doslednim identifikatorjem ponudnikov/modelov odraža širšo potrebo po sistemih izbire modelov AI, ki jih je mogoče preverjati, ne le priročno. Človeku prijazen vzdevek je lahko še vedno uporaben na ravni aplikacije, vendar zaračunavanje in dnevniki potrebujejo stabilna kanonična imena.

Preostala negotovost je, koliko podrobnih podatkov o uporabi bodo stranke Cloudflare obdržale zunaj računa in kako preprosto jih lahko izvozijo za dolgoročno usklajevanje. Dnevnik sprememb potrjuje spremembe računa in poimenovanja, vendar sam po sebi ne odgovori na vsa nadaljnja računovodska vprašanja za preprodajalce ali podjetja z modeli povratnih bremenitev po meri.

Praktični odgovor ni zapleten, vendar je nujen: zajemite uporabo na ravni žetonov, preden prispe mesečni račun, normalizirajte identifikatorje modela ob zaužitju in naredite notranjo knjigo avtoriteto za zaračunavanje strankam in analitiko stroškov. Račun Cloudflare je zdaj morda preprostejši. Podjetja z umetno inteligenco ne bi smela dovoliti, da bi njihovo računovodstvo postalo manj natančno.