Cloudflare ir mainījis veidu, kā AI vārtejas lietojums tiek parādīts ikmēneša rēķinos, un korekcija ir nozīmīgāka, nekā varētu šķist sākumā. 1. septembra izmaiņu žurnāla ierakstā uzņēmums teica, ka ikmēneša lietošanas rēķinos tagad tiek rādīta viena kopējo izmaksu rindas vienība katram modelim, nevis atsevišķas rindas vienības ievades marķieriem un izvades marķieriem. Cloudflare arī paziņoja, ka ir standartizējis modeļu nosaukumus rēķinos un žurnālos, izmantojot konsekventu nodrošinātāja/modeļa identifikatoru.

Izmaiņas neattiecas uz AI Gateway kredīta pirkumu rēķiniem. Runa ir par ikmēneša lietošanas rēķiniem: ieraksti, ko finanšu komandas, platformu komandas un tālākpārdevēji izmanto, lai saskaņotu patēriņu pēc tam, kad datplūsma jau ir izgājusi caur vārteju.

Klientiem, kuriem nepieciešams tikai augsta līmeņa rēķins, jaunais formāts var būt vieglāk lasāms. Grupām, kas aprēķina peļņas normas, piešķir AI izmaksas īrniekiem vai pārbauda marķieru kombināciju pēc darba slodzes, mainās vieta, kur atrodas detalizētā virsgrāmata. Rēķins kļūst mazāks par marķiera uzskaites artefaktu un vairāk par modeļa līmeņa izmaksu kopsavilkumu.

Kas mainījās Cloudflare AI Gateway norēķinos

Līdz šim atjauninājumam ikmēneša lietošanas rēķinos varēja atdalīt ieejas marķiera un izvades marķiera maksas. Šai atšķirībai ir nozīme, jo daudzi modeļu nodrošinātāji cenas šīm marķieru klasēm atšķiras. Darba slodzei, kas sūta lielas uzvednes un saņem īsas atbildes, izmaksu profils atšķiras no izmaksu profila, kurā tiek sūtītas nelielas uzvednes un tiek ģenerētas garas atbildes, pat ja abas ir saistītas ar vienu un to pašu modeli.

Cloudflare jaunā rēķinu struktūra šīs atsevišķās marķiera tipa rindas vienumus sakļauj vienā kopējo izmaksu rindā katram modelim. Praktiskā ietekme ir tīrāka modeļa līmeņa norēķinu veikšana, bet mazāka informācija rēķina līmenī par šo izmaksu veidošanu.

Tajā pašā laikā modeļu identifikatoru standartizācija rēķinos un žurnālos risina citu, bet saistītu problēmu: aizstājvārdu novirzi. Vairāku modeļu sistēmās viens un tas pats modelis žurnālos, rēķinu eksportēšanā, informācijas paneļos, klientu pārskatos un iekšējos maršrutēšanas noteikumos var parādīties ar nedaudz atšķirīgiem nosaukumiem. Konsekvents pakalpojumu sniedzēja/modeļa nosaukumu formāts samazina iespēju, ka finanšu un inženieru komandas izmanto vienu virkni lietošanas žurnālos ar nedaudz atšķirīgu virkni rēķinos.

Šī izmaiņu daļa ir nepārprotami noderīga ikvienam, kas izmanto vienoto AI API norēķinus. Ja rēķinā ir teikts viens, bet žurnālu straumē – kas cits, saskaņošana kļūst par manuālu kartēšanas uzdevumu. Standarta identifikatori atvieglo uzticamību automatizētiem savienojumiem, informācijas paneļiem un klientu paziņojumiem.

Kāpēc rēķina precizitāte ir svarīga

Smagākais kompromiss ir marķiera precizitāte. AI infrastruktūras komandām bieži vien ir nepieciešams vairāk nekā kopējā summa, kas iekasēta par modeli. Viņiem ir jāzina, vai izmaksu pieaugumu izraisīja garākas uzvednes, detalizētāki izvadi, maršrutēšanas izmaiņas, kešatmiņas izlaišanas modelis, jauna aģenta cilpa vai klienta integrācija, kas sāka sūtīt lielus failus kā kontekstu.

Modeļa līmeņa rēķina rinda var apstiprināt parāda summu. Tas pats par sevi nevar izskaidrot uzvedību, kas radīja lādiņu. Šim skaidrojumam ir jānāk no žurnāliem, eksporta, vārtejas telemetrijas vai atsevišķas lietošanas virsgrāmatas.

Tas ir vissvarīgākais uzņēmumiem, kas atrodas starp modeļa nodrošinātāju un gala klientu. Tālākpārdevējiem, iekšējām platformu komandām, SaaS produktiem ar iegultām AI funkcijām un aģentūrām, kas pārvalda klientu darba slodzi, ir nepieciešams pamatots izmaksu attiecinājums. Ja viņu iepriekšējā rēķinā ievades un izvades pilnvaras izmaksas vairs nav redzamas kā atsevišķas rindas, viņiem šī atšķirība ir jāsaglabā pirms rēķina izrakstīšanas.

Tā pati problēma attiecas uz atmaksu lielākos uzņēmumos. Finanšu komanda var būt apmierināta ar "modelis X maksā tik daudz". Inženieru vadītājam var būt jāzina, ka konkrēts repozitorija palīgs, atbalsta robots vai dokumentu darbplūsma radīja neparastu daudzumu izvades marķieru. Tie ir dažādi grāmatvedības jautājumi.

Kas tiek ietekmēts

Tiešā mērķauditorija ir Cloudflare AI Gateway lietotāji. Jebkurai komandai, kas paļaujas uz ikmēneša rēķiniem kā galveno norēķinu patiesības avotu, ir jāpārskata, vai jaunais formāts joprojām atbalsta tās iekšējās atskaites vajadzības.

Vārtejas operatori un AI API tālākpārdevēji tiek ietekmēti vairāk. Ja viņi tālāk pārdod piekļuvi vairākiem modeļiem, izraksta klientu rēķinus vai piemēro pielāgotus uzcenojumus, viņiem ir nepieciešami savi ieraksti katram pieprasījumam: modeļa identifikators, nodrošinātājs, ievades pilnvaras, izvades pilnvaras, kešatmiņas pilnvaras, ja nepieciešams, vienības cena, piemērotā atlaide, klienta atslēga, projekts, nomnieks un laikspiedols. Bez šīs virsgrāmatas vienkāršots iepriekšējais rēķins var apgrūtināt pakārtoto norēķinu pārbaudi.

Izstrādātāji, kuri veido informācijas paneļus, saskaras ar līdzīgu korekciju. Modeļa nosaukuma standartizācijai jāsamazina kartēšanas kļūdas, taču tikai tad, ja iekšējās sistēmas izmanto tos pašus kanoniskos identifikatorus vai uztur apzinātu aizstājvārdu tabulu.Šeit AI API lietojuma analīzes informācijas panelis ir vairāk nekā tikai pārskatu sniegšanas ērtība. Tā kļūst par vietu, kur tiek saglabāta, jautāta un izskaidrota no rēķina izņemtā informācija.

Model Gate lietotājiem un līdzīgiem vairāku pakalpojumu sniedzēju vārtejas klientiem mācība ir vienkārša: neuzskatiet pakalpojumu sniedzēja rēķinu par vienīgo patiesības avotu. Vienotie norēķini ir noderīgi tieši tāpēc, ka pakalpojumu sniedzēji formātu, cenu un lietojumu norāda atšķirīgi. Vārtejas līmeņa virsgrāmata ļauj komandām normalizēt šo informāciju, pirms tā tiek saspiesta neatkarīgi no pakalpojumu sniedzēja izvēlētā rēķina formāta.

Modeļa nosaukuma maiņa var būt lielāks ilgtermiņa signāls

Standartizētais identifikatora atjauninājums var ilgt diskusijas par rēķina formātu. Modeļu nosaukumu piešķiršana kļūst par darbības problēmu visās AI skursteņos. Pakalpojumu sniedzēji pārskata modeļu ID, mākoņa platformas vienu un to pašu modeli iekļauj ar kanālam raksturīgiem nosaukumiem, vārtejas ievieš pseidonīmus saderības nodrošināšanai un lietojumprogrammu piespraudes nosaukumus konfigurācijas failos.

Piešķirot nosaukumu novirzes, vairākas lietas klusi sabojājas. Izmaksu pārskatos viens modelis ir sadalīts vairākās rindās. Novecošanas pārbaudes pārbauda trafika trūkumu, joprojām izmantojot vecāku aizstājvārdu. Maršrutēšanas politikas attiecas uz vienu vārdu, bet ne uz citu. Klientu rēķinos ir etiķete, kas neatbilst izstrādātāja žurnāliem.

Cloudflare virzība uz konsekventiem nodrošinātāja/modeļa identifikatoriem atspoguļo plašāku vajadzību pēc AI modeļu atlases sistēmām, kas ir ne tikai ērtas, bet arī auditējamas. Cilvēkam draudzīgs aizstājvārds joprojām var būt noderīgs lietojumprogrammas līmenī, taču norēķiniem un žurnāliem ir nepieciešami stabili kanoniskie nosaukumi.

Atlikušā neskaidrība ir par to, cik daudz detalizētu lietojuma datu Cloudflare klienti saglabās ārpus rēķina un cik viegli viņi tos varēs eksportēt ilgtermiņa saskaņošanai. Izmaiņu žurnāls apstiprina rēķina un nosaukumu izmaiņas, taču tas pats par sevi neatbild uz visiem pakārtotajiem grāmatvedības jautājumiem tālākpārdevējiem vai uzņēmumiem ar pielāgotiem atmaksas modeļiem.

Praktiskā atbilde nav sarežģīta, taču tā ir steidzama: tveriet marķiera līmeņa lietojumu pirms ikmēneša rēķina saņemšanas, normalizējiet modeļa identifikatorus, kad tiek saņemts rēķins, un izveidojiet klienta iekšējo norēķinu autoritāti. Cloudflare rēķins tagad var būt vienkāršāks. AI uzņēmumiem nevajadzētu pieļaut, ka viņu grāmatvedība kļūst mazāk precīza.