Cloudflare on lisanud AI Gatewayle väikese, kuid olulise juhtelemendi: meeskonnad saavad nüüd nõuda kolmanda osapoole teenusepakkuja mandaate, enne kui päringut lubatakse käitada. Kui lüüs ei leia sobivaid mandaate, nurjub taotlus HTTP 400 puhul, selle asemel, et minna tagasi Cloudflare'i hallatavale ühtsele arveldamisele.
See muudab oma võtme toomise ehk BYOK praktilist tähendust. Seni võis puuduv pakkuja võti olla konfiguratsiooniprobleem, mis andis siiski eduka mudelikõne, kuid erineva arveldustee korral. Uue seadega muutub volituste puudumine raskeks eeskirjade rikkumiseks. Organisatsioonide jaoks, mis eraldavad klientidele kuuluvaid mudelkontosid tsentraalselt arveldatud liiklusest, on see eristamine olulisem, kui olekukood viitab.
Mis muutus
Cloudflare'i 14. septembri värskendus lisab kaks võimalust uue käitumise jõustamiseks. Lüüsi tasemel saavad administraatorid lubada sätte byok_only. Taotluse ajal saavad helistajad saata päise cf-aig-no-wholesale, et vältida selle päringu hulgimüügi arveldamise taganemist.
Kui juhtelement rakendub ja teenusepakkuja mandaadid pole saadaval, tagastab AI Gateway HTTP 400. Cloudflare ütleb, et Workersi AI-päringud jäävad lubatuks, nii et poliitika puudutab konkreetselt kolmanda osa taotlust. mandaadid.
See funktsioon ei ole uue mudeli ruuter ega hinnasoodustus. See on arveldusrežiimi kaitsepiire. See muudab selle otseselt asjakohaseks ühtse AI API arveldamise jaoks, sest üksainus lüüs saab nüüd tõmmata teravama piiri tsentraalselt arveldatud liikluse ja kliendi enda teenusepakkuja kontolt tasumisele kuuluvate taotluste vahele.
Miks on arveldamine riskantne
Kui teenusepakkuja mandaat puudub, on aegunud või pole õigele marsruudile lisatud, võib lüüsi hallatav mandaat rakenduse töös hoida. Kuid sama mugavus võib tekitada segase arvejälje.
SaaS-i tarnija, agentuur või siseplatvormi meeskond võib lubada, et antud rentniku liiklus toimub ainult selle rentniku OpenAI, Anthropic, Google'i või mõne muu teenusepakkuja kontoga. Kui lüüs kasutab vaikselt hulgimüügi mandaati, võib taotlus siiski õnnestuda, kuid äriline tähendus on muutunud. Platvormi operaator võib kulud enda kanda võtta, selle valesti üle kanda või kaotada võimaluse ühildada kasutust kliendi enda teenusepakkuja arvega.
See on eriti tundlik edasimüüja ja partneri API mudelite puhul. Üks klient võib hankereeglite tõttu olla BYOKis. Teine võib kasutada platvormi arvelduskrediiti. Kolmas võib regulatiivsetel või andmehalduslikel põhjustel nõuda eraldi teenusepakkuja kontosid. Selles keskkonnas on arveldustee osa tootelepingust, mitte juurutamise üksikasjad.
Cloudflare'i uus juhtelement annab meeskondadele võimaluse muuta leping lüüsi piiril jõustatavaks. Ebaõnnestunud taotlus on oma tegevuses tüütu, kuid seda on lihtsam siluda kui edukat taotlust, mis ilmub hiljem valesse kulukeskusesse.
Keda see mõjutab
Vaheseks vaatajaskonnaks on iga meeskond, kes kasutab Cloudflare AI Gateway'i koos teenusepakkuja omanduses olevate mandaatide ja Cloudflare'i hallatava arveldamisega. Muudatus on kõige olulisem seal, kus mitu rentnikku, keskkonda või äriüksust jagavad lüüsi konfiguratsiooni.
Arendajad peavad otsustama, kas marsruut peaks eelistama saadavust või ranget arveldusisolatsiooni. Finants- ja operatsioonimeeskonnad saavad puhtama mehhanismi juhusliku hulgimüügi ärahoidmiseks. Turva- ja platvormimeeskonnad saavad API-võtmehalduse jaoks veel ühe hoova, sest pakkuja mandaatide olemasolul või puudumisel on nüüd otsene jõustamistulemus.
AI lüüsi operaatorite jaoks laiemalt on värskendus signaal. Arvelduse juhtelemendid on muutumas poliitika juhtelementideks. Enam ei piisa näitamisest, et päring kasutas konkreetset mudelit. Lüüsid peavad üha enam registreerima, millist mandaadi teed kasutati, kellele see mandaat kuulus, milline rentnik või API-võti kõne algatas ja kas varundus oli lubatud.
Mudelvärava kasutajad seisavad silmitsi sama probleemiga, kui nad haldavad meeskondi, API-võtmeid, kasutusanalüütikat ja partneritele suunatud juurdepääsu. Kliendi ulatusega võti ei ole ainult autentimisluba; see võib tähendada arveldusrežiimi, kululimiiti, teenusepakkuja kontot ja auditi ootusi. Kui neid tähendusi järjepidevalt ei jõustata, võivad analüüside armatuurlauad ja arved eemalduda sellest, mida kliendid arvavad, et nad ostsid.
Praktilised tagajärjed
Esimene praktiline muudatus on vigade käsitlemine. Rakendused, mis lubavad ainult BYOK-i juhtelemente, peaksid käsitlema lüüsi HTTP 400 konfiguratsiooni või mandaadiprobleemina, mitte mudeli rikkena.Sama taotluse uuesti proovimine ilma mandaate parandamata võib tekitada ainult müra.
Teine muudatus on liitumine. Meeskonnad, kes lubavad klientidel teenusepakkuja võtmeid tuua, vajavad enne tootmisliikluse alustamist tugevamat mandaadikontrolli. Rentnik ei tohiks reaalajas töövoo ajal avastada, et tema pakkuja võtit pole kunagi lüüsi marsruudile lisatud.
Kolmas muudatus on jälgitavus. Lüüsi logid ja kasutusaruanded peaksid paljastama, kas päring kasutas BYOK-i, platvormi arveldust või blokeeritud varuteed. Ilma selle väljata võivad tugimeeskonnad teada, et taotlus nurjus, kuid mitte seda, kas tõrge kaitses arvelduspiiri.
Lõpuks peaksid partnerplatvormid oma vaikeseaded uuesti üle vaatama. BYOK-i range jõustamine ei ole alati õige valik. Mõned tooted võivad teenuse järjepidevuse säilitamiseks tahtlikult platvormi arveldamisele tagasi minna. Teised võivad vajada tugevat eraldamist lepingute, klientide usalduse või marginaali kaitse tõttu. Oluline nihe on see, et otsus võib juhusliku asemel olla selgesõnaline.
Mis jääb ebaselgeks
Avalik muudatus kirjeldab poliitikamehhanisme, kuid meeskonnad peavad siiski testima, kuidas see käitub oma teenusepakkujate kombinatsioonis, marsruudi struktuuris ja mandaatide pärimise mudelis. Samuti pole veel selge, kui laialdaselt rakendusraamistikud ja kolmanda osapoole vaatlemistööriistad seda arveldusrežiimide eristamist oma vaikearmatuurlaual esile toovad.
Suurem suund on piisavalt selge. Mitme mudeliga lüüsidest on saamas nii finantsjuhtimistasandid kui API puhverserverid. Cloudflare'i ainult BYOK-i seade on kitsas funktsioon, kuid see käsitleb tõelist tõrkerežiimi: taotlus, mis töötab tehniliselt, rikkudes samal ajal kavandatud arveldusmudelit.