Cloudflare on muutnud seda, kuidas AI Gateway kasutus igakuistel arvetel kuvatakse, ja korrigeerimine on operatiivselt olulisem, kui esmapilgul võib tunduda. 1. septembri muudatuste logi kirjes ütles ettevõte, et igakuised kasutusarved näitavad nüüd ühte kogukulu rea artiklit mudeli kohta, mitte eraldi sisend- ja väljundlubade rida. Cloudflare teatas ka, et on standardiseerinud arvete ja logide mudelinimed, kasutades ühtset pakkuja/mudeli identifikaatorit.

Muudatus ei kehti AI Gateway krediidiostude arvetele. Tegemist on igakuiste kasutusarvetega: kirjed, mida finantsmeeskonnad, platvormimeeskonnad ja edasimüüjad kasutavad tarbimise ühildamiseks pärast seda, kui liiklus on lüüsist juba läbinud.

Klientide jaoks, kes vajavad ainult kõrgetasemelist arvet, võib uus vorming olla hõlpsamini loetav. Meeskondade puhul, kes arvutavad marginaale, jaotavad üürnikele tehisintellekti kulusid või auditeerivad žetoonide kombinatsiooni töökoormuse alusel, muutub see koht, kus üksikasjalik pearaamat peab asuma. Arve on muutumas vähem token-arvestuse artefaktiks ja pigem mudelitasemel kulukokkuvõtteks.

Mis muutus Cloudflare AI Gateway arvelduses

Kuni selle värskenduseni võisid igakuised kasutusarved sisend- ja väljundmärgitasud eraldada. See eristamine on oluline, kuna paljud mudelipakkujad hindavad neid märgiklassisid erinevalt. Töökoormus, mis saadab suuri viipasid ja võtab vastu lühikesi vastuseid, erineb kuluprofiilist, mis saadab väikeseid viipasid ja genereerib pikki vastuseid, isegi kui mõlemad on seotud sama mudeliga.

Cloudflare'i uus arvestruktuur ahendab need eraldi märgitüüpi reaartiklid üheks kogukulu reale mudeli kohta. Praktiline efekt on puhtam mudelitasemel arveldamine, kuid vähem arve tasemel üksikasju selle kulu tekkimise kohta.

Samal ajal lahendab mudeliidentifikaatorite standardimine arvete ja logide lõikes teistsuguse, kuid sellega seotud probleemi: aliase triivi. Mitme mudeliga süsteemides võib sama mudel ilmuda logides, arveeksportides, armatuurlaudades, kliendiaruannetes ja sisemistes marsruutimisreeglites veidi erinevate nimede all. Ühtne pakkuja/mudeli nimevorming vähendab võimalust, et finants- ja insenerimeeskonnad sobitavad kasutuslogides ühe stringi arvete veidi erineva stringiga.

See osa muudatusest on selgelt kasulik kõigile, kes kasutavad ühtse AI API arveldust. Kui arve ütleb üht ja logivoog teist, muutub leppimine käsitsi kaardistamise harjutuseks. Standardsed identifikaatorid muudavad automaatsete liitumiste, armatuurlaudade ja klientide avalduste usaldusväärsuse lihtsamaks.

Miks on arve detailsus oluline?

Raskem kompromiss on märgi detailsus. AI infrastruktuuri meeskonnad vajavad sageli rohkem kui mudeli eest küsitav kogusumma. Nad peavad teadma, kas kulude hüppeline tõus tulenes pikematest viipadest, üksikasjalikumatest väljunditest, marsruutimise muudatusest, vahemälu puudujäägi mustrist, uuest agenditsüklist või kliendi integreerimisest, mis hakkas kontekstina suuri faile saatma.

Mudelite tasemel arve rida võib kinnitada võlgnetava summa. See ei saa iseenesest seletada käitumist, mis laengu tekitas. See selgitus peab pärinema logidest, ekspordist, lüüsi telemeetriast või eraldi kasutusraamatust.

See on kõige olulisem ettevõtete jaoks, mis asuvad mudeli pakkuja ja lõppkliendi vahel. Edasimüüjad, siseplatvormide meeskonnad, manustatud AI-funktsioonidega SaaS-tooted ja klientide töökoormust haldavad agentuurid vajavad kõik kaitstud kulude omistamist. Kui nende eelneval arvel ei kuvata enam sisend- ja väljundmärgikulusid eraldi ridadena, peavad nad selle eristuse säilitama enne arve esitamise aega.

Sama probleem kehtib ka tagasimaksete puhul suuremates ettevõtetes. Finantsmeeskond võib olla rahul sellega, et mudel X maksis nii palju. Insenerijuhil võib olla vaja teada, et konkreetne hoidla assistent, tugibot või dokumendi töövoog genereeris ebatavaliselt palju väljundmärke. Need on erinevad raamatupidamisküsimused.

Keda see mõjutab

Vahetus publik on Cloudflare AI Gateway otsekasutajad. Iga meeskond, kes tugineb igakuistele arvetele kui arveldustõe peamisele allikale, peaks üle vaatama, kas uus vorming toetab endiselt nende sisemisi aruandlusvajadusi.

Lüüsioperaatorid ja AI API edasimüüjad on mõjutatud sügavamalt. Kui nad müüvad edasi juurdepääsu mitmele mudelile, väljastavad kliendiarveid või rakendavad kohandatud juurdehindlusi, vajavad nad oma päringupõhiseid kirjeid: mudeli identifikaator, pakkuja, sisendmärgid, väljundmärgid, vajaduse korral vahemällu salvestatud märgid, ühikuhind, rakendatud allahindlus, kliendivõti, projekt, rentnik ja ajatempel. Ilma selle pearaamatuta võib lihtsustatud ülesvoolu arve teha alljärgneva arvelduse kontrollimise raskemaks.

Armatuurlaudu loovad arendajad seisavad silmitsi sarnase kohandamisega. Mudelinimede standardimine peaks vähendama vastendamisvigu, kuid ainult siis, kui sisemised süsteemid võtavad kasutusele samad kanoonilised identifikaatorid või säilitavad tahtliku varjunimetabeli.Siin muutub AI API kasutusanalüüsi juhtpaneel enamaks kui aruandluse mugavus. Sellest saab koht, kus arvelt eemaldatud üksikasju säilitatakse, küsitakse ja selgitatakse.

Modellvärava kasutajate ja sarnaste mitme teenusepakkuja lüüsi klientide jaoks on õppetund otsene: ärge käsitlege teenusepakkuja arvet ainsa tõe allikana. Ühtne arveldamine on kasulik just seetõttu, et pakkujad vormistavad, hindavad ja avaldavad kasutust erinevalt. Lüüsitaseme pearaamat võimaldab meeskondadel selle teabe normaliseerida, enne kui see pakitakse teenusepakkuja valitud arvevormingusse.

Mudelite nime muutmine võib olla suurem pikaajaline signaal

Standardiseeritud identifikaatori värskendus võib arvevormingu arutelu kauem kesta. Mudelite nimetamine on muutumas AI-virnade tööprobleemiks. Pakkujad vaatavad üle mudeli ID-d, pilveplatvormid mähivad sama mudeli kanalipõhiste nimede alla, lüüsid lisavad ühilduvuse tagamiseks varjunimed ja rakenduste pin-nimed konfiguratsioonifailides.

Nimede määramisel lähevad mitmed asjad vaikselt katki. Kuluaruanded jagavad ühe mudeli mitmeks reale. Katkestuskontrollid jätavad liikluse vahele, kasutades endiselt vanemat pseudonüümi. Marsruutimiseeskirjad kehtivad ühele nimele, kuid mitte teisele. Klientide arvetel on silt, mis ei ühti arendaja logidega.

Cloudflare'i liikumine ühtsete pakkuja/mudeli identifikaatorite poole peegeldab laiemat vajadust AI mudelivaliku süsteemide järele, mis on auditeeritavad, mitte ainult mugavad. Inimsõbralik pseudonüüm võib rakenduskihis siiski kasulikuks osutuda, kuid arveldamine ja logid vajavad stabiilseid kanoonilisi nimesid.

Järeljäänud ebakindlus seisneb selles, kui palju üksikasjalikke kasutusandmeid Cloudflare'i kliendid väljaspool arvet säilitavad ja kui hõlpsalt saavad nad neid pikaajaliseks vastavusseviimiseks eksportida. Muudatustelogi kinnitab arve ja nimemuudatused, kuid see ei vasta iseenesest igale edasimüüjatele või kohandatud tagasimaksemudeliga ettevõtetele järgnevatele raamatupidamisküsimustele.

Praktiline vastus pole keeruline, kuid see on kiireloomuline: püüdke enne igakuise arve saabumist märgitaseme kasutust, normaliseerige mudeli identifikaatorid sissevõtmisel ja muutke kliendisiseselt arvelduse autoriteet. Cloudflare'i arve võib nüüd olla lihtsam. AI-ettevõtted ei tohiks lasta oma raamatupidamisel muutuda ebatäpsemaks.