Cloudflare je prehodu umetne inteligence dodal majhen, a pomemben nadzor: ekipe lahko zdaj zahtevajo poverilnice ponudnika tretje osebe, preden se dovoli izvajanje zahteve. Če prehod ne najde ustreznih poverilnic, zahteva ne uspe s HTTP 400, namesto da bi se vrnila na poenoteno obračunavanje, ki ga upravlja Cloudflare.

To spremeni praktični pomen prinesi svoj ključ ali BYOK. Do zdaj je manjkajoči ključ ponudnika lahko predstavljal konfiguracijsko težavo, ki je še vedno povzročila uspešen modelni klic, vendar na drugi poti obračunavanja. Z novo nastavitvijo manjkajoče poverilnice postanejo resna kršitev pravilnika. Za organizacije, ki ločujejo modelne račune v lasti strank od centralno zaračunanega prometa, je to razlikovanje pomembnejše, kot kaže statusna koda.

Kaj se je spremenilo

Posodobitev storitve Cloudflare 14. septembra dodaja dva načina za uveljavitev novega vedenja. Na ravni prehoda lahko skrbniki omogočijo nastavitev byok_only. Ob času zahteve lahko klicatelji pošljejo glavo cf-aig-no-wholesale, da preprečijo nadomestno veleprodajno zaračunavanje za to zahtevo.

Ko je nadzor uporabljen in poverilnice ponudnika niso na voljo, AI Gateway vrne HTTP 400. Cloudflare pravi, da zahteve AI Workers ostajajo dovoljene, zato se pravilnik posebej nanaša na zahteve ponudnikov tretjih oseb, ki bi sicer lahko šle skozi Poverilnice, ki jih upravlja Cloudflare.

Funkcija ni nov model usmerjevalnika ali popust pri ceni. Je zaščitna ograja v načinu obračunavanja. Zaradi tega je neposredno povezan z poenotenim zaračunavanjem API-ja AI, saj lahko en sam prehod zdaj potegne ostrejšo mejo med centralno zaračunanim prometom in zahtevami, ki jih je treba zaračunati strankinemu lastnemu računu ponudnika.

Zakaj je nadomestno zaračunavanje tvegano

Nadomestno zaračunavanje je priročno, ko je prioriteta čas delovanja. Če poverilnica ponudnika ni, je potekla ali ni pritrjena na pravo pot, lahko poverilnica, ki jo upravlja prehod, omogoči delovanje aplikacije. Toda ta ista priročnost lahko ustvari neurejeno sled računov.

Prodajalec SaaS, agencija ali interna ekipa platforme lahko obljubi, da promet določenega najemnika teče samo z računom OpenAI, Anthropic, Google ali drugega ponudnika tega najemnika. Če prehod namesto tega tiho uporablja veleprodajno poverilnico, lahko zahteva še vedno uspe, vendar se je komercialni pomen spremenil. Operater platforme lahko prevzame stroške, jih posreduje nepravilno ali izgubi zmožnost usklajevanja uporabe z računom strankinega ponudnika.

To je še posebej občutljivo za modele API-jev preprodajalcev in partnerjev. Ena stranka je lahko na BYOK zaradi pravil javnega naročanja. Drugi lahko uporabi kredite, ki jih zaračuna platforma. Tretji lahko zahteva ločene račune ponudnika zaradi regulativnih razlogov ali razlogov upravljanja podatkov. V tem okolju je obračunska pot del pogodbe o izdelku in ne podrobnost izvedbe.

Novi nadzor Cloudflare daje ekipam možnost, da to pogodbo naredijo izvršljivo na meji prehoda. Neuspela zahteva je operativno moteča, vendar jo je lažje odpraviti kot uspešno zahtevo, ki se pozneje pojavi na napačnem stroškovnem mestu.

Kdo je prizadet

Neposredna publika je katera koli ekipa, ki uporablja Cloudflare AI Gateway z mešanico poverilnic v lasti ponudnika in zaračunavanja, ki ga upravlja Cloudflare. Sprememba je najpomembnejša, če si več najemnikov, okolij ali poslovnih enot deli konfiguracijo prehoda.

Razvijalci se bodo morali odločiti, ali naj pot daje prednost razpoložljivosti ali strogi izolaciji zaračunavanja. Finančne in operativne ekipe dobijo čistejši mehanizem za preprečevanje nenamerne veleprodajne uporabe. Ekipe za varnost in platformo dobijo še en vzvod za upravljanje ključev API-ja, saj ima prisotnost ali odsotnost poverilnic ponudnika zdaj neposreden izid uveljavljanja.

Za operaterje prehodov AI širše je posodobitev signal. Kontrole obračunavanja postajajo kontrole politik. Ni več dovolj pokazati, da je zahteva uporabila določen model. Prehodi morajo vse pogosteje beležiti, katera pot poverilnice je bila uporabljena, kdo je lastnik te poverilnice, kateri najemnik ali ključ API-ja je sprožil klic in ali je bila nadomestna možnost dovoljena.

Uporabniki modela Gate se soočajo z isto osnovno težavo, ko upravljajo ekipe, ključe API-ja, analitiko uporabe in dostop do partnerjev. Ključ v obsegu stranke ni le žeton za preverjanje pristnosti; lahko vključuje način zaračunavanja, omejitev porabe, račun ponudnika in nabor revizijskih pričakovanj. Če se ti pomeni ne uveljavljajo dosledno, se lahko analitične nadzorne plošče in računi oddaljijo od tistega, za kar kupci verjamejo, da so kupili.

Praktične posledice

Prva praktična sprememba je obravnava napak. Aplikacije, ki omogočajo samo kontrole BYOK, bi morale HTTP 400 s prehoda obravnavati kot težavo s konfiguracijo ali poverilnicami in ne kot napako modela.Ponovni poskus iste zahteve brez popravljanja poverilnic lahko povzroči samo šum.

Druga sprememba je vkrcanje. Ekipe, ki strankam omogočajo, da prinesejo ključe ponudnika, potrebujejo močnejši korak preverjanja poverilnic, preden se začne produkcijski promet. Najemnik med potekom dela v živo ne bi smel odkriti, da ključ njegovega ponudnika ni bil nikoli pritrjen na prehodno pot.

Tretja sprememba je opazljivost. Dnevniki prehoda in poročila o uporabi bi morali razkriti, ali je zahteva uporabila BYOK, zaračunavanje platforme ali blokirano nadomestno pot. Brez tega polja bodo ekipe za podporo morda vedele, da zahteva ni uspela, ne pa tudi, ali je napaka zaščitila mejo zaračunavanja.

Končno bi morale partnerske platforme ponovno pregledati svoje privzete nastavitve. Strogo uveljavljanje BYOK ni vedno prava izbira. Nekateri izdelki se lahko namenoma vrnejo na zaračunavanje prek platforme, da ohranijo kontinuiteto storitve. Drugi morda potrebujejo trdo ločitev zaradi pogodb, zaupanja strank ali zaščite marže. Pomemben premik je, da je odločitev lahko eksplicitna namesto naključna.

Kaj ostaja nejasno

Javna sprememba opisuje mehaniko pravilnika, vendar bodo morale ekipe še vedno preizkusiti, kako se obnaša v svoji mešanici ponudnikov, strukturi poti in modelu dedovanja poverilnic. Prav tako še ni jasno, kako široko bodo okviri aplikacij in orodja za opazovanje tretjih oseb prikazali to razliko v načinu zaračunavanja na svojih privzetih nadzornih ploščah.

Širša smer je dovolj jasna. Prehodi z več modeli postajajo raven finančnega nadzora prav tako kot posredniki API. Nastavitev samo BYOK v storitvi Cloudflare je ozka funkcija, vendar obravnava način resnične napake: zahtevo, ki tehnično deluje, medtem ko krši predvideni model obračunavanja.