Cloudflare AI Gateway on lisanud mudelite varjunimed, mis võimaldavad klientidel paigutada mudelite kogumi ühe rakendustes kasutatava nime taha. Pseudonüüm võib rakendada kas tellitud varupoliitikat või nutikat marsruutimist, samal ajal kui kliendid saadavad aliase mudeli nimena läbi lüüsi REST API.

Praktiline muudatus seisneb rakenduse taotletud mudeli identifikaatori ja päringu lõpliku käsitlemise mudeli vahel. Lüüsioperaatorid saavad basseini, marsruutimise poliitikat või aluseks olevaid mudeleid muuta ilma iga aliast kasutavat klienti ümber paigutamata. Cloudflare ütleb, et varjunimed on suunatud üksikutele lüüsidele.

See on mudelite ümbernimetamiseks rohkem kui mugavus. See annab operaatoritele rakenduste jaoks stabiilse liidese, samal ajal kui teenusepakkuja saadavus, mudeliversioonid ja marsruutimiseelistused selle taga muutuvad.

Muutuva mudelikogumi stabiilne nimi

Ilma pseudonüümikihita sõltuvad rakendused tavaliselt pakkujaspetsiifilistest mudeliidentifikaatoritest. Mudeli asendamine, varu lisamine või liikluse teisaldamine teisele pakkujale võib seetõttu nõuda mitme teenuse konfiguratsiooni muutmist. Samuti võib see igale kliendile suruda korduskatse ja pakkuja valiku loogika.

Cloudflare'i juurutus viib need otsused lüüsi. Tellitud varuga saab operaator määratleda eelistatud mudeli ja alternatiivid, mida proovida, kui esimene valik ei suuda päringut täita. Nutikas marsruutimine pakub poliitikapõhist alternatiivi, mille puhul lüüs teeb valiku basseinist, mitte ei järgi kindlat järjestust.

See paigutus on eriti asjakohane mitme mudeli API lüüsi jaoks meeskondadele. Tarkvarameeskond saab anda rakendustele püsiva mudelinime, muutes samal ajal juurutust tsentraalselt. Samuti saab see standardida mitme siseteenuse kasutatava identifikaatori, vähendades mudelite üleviimiste arvu, mis tuleb rakenduste omanikega kooskõlastada.

Allias jääb siiski lüüsipõhiseks. Organisatsioonid, mis haldavad mitut Cloudflare'i lüüsi, peavad samaväärseid varjunimesid eraldi haldama, kui nad soovivad keskkondades või äriüksustes ühtseid nimesid ja eeskirju.

Tõrkeülekanne muutub lihtsamaks, kuid jälgitavus raskemaks

Mudelid võivad parandada vastupidavust, kuna rakendused ei vaja enam oma teenusepakkuja valikut ega varukoodi. Kui operaator muudab tellitud kogumit, jätkab rakendus sama pseudonüümi helistamist. Sama mehhanism võib toetada mudeliuuendusi või teenusepakkuja muudatusi ilma kliendipoolset lepingut muutmata.

Kuid stabiilsed identifikaatorid toovad sisse arvestusliku eristuse, mida operaatorid eirata. Logid ja kasutuskirjed peaksid säilitama nii kliendi taotletud varjunime kui ka mudeli, mis päringut tegelikult teenindas. Vastasel juhul võib ainult pseudonüümi all esitatud päring varjata erinevusi hinnas, latentsuses, väljundkvaliteedis või teenusepakkuja käsitlemises.

See on oluline nii tagasimaksete ja klienditoe kui ka tehnilise silumise jaoks. Kui kaks päringut samale pseudonüümile teenindavad erinevad mudelid, võivad nende kulud ja käitumine erineda, kuigi kliendi konfiguratsioon on muutumatu. AI API juhttasand arendajameeskondadele vajab seetõttu täitmistaseme omistamist, mitte ainult avaliku mudeli nime järgi rühmitatud loendeid.

Hindamine muutub ka jätkuvaks tööülesandeks. Marsruutimise muudatus võib mõjutada rakenduse käitumist ilma koodi juurutamata, nii et meeskonnad peaksid testima poliitika muudatusi ja säilitama kirje selle kohta, milline mudel iga hinnatud päringut teenindas. Hoiatamine peaks eristama edukat tagavara eelistatud mudeli tavapärasest kasutamisest, kuna korduv varundamine võib viidata teenusepakkuja probleemile või ammendunud võimsusele.

Tagajärjed edasimüüjatele ja platvormide operaatoritele

Aliased on kasulikud platvormidele, mis avaldavad klientidele suunatud mudelikataloogi. Edasimüüja võib avaldada stabiilse tootenime, asendades samal ajal aegunud mudeli, kohandades pakkujate kombinatsiooni või lisades selle taga varuvaliku. See võib vähendada häirivaid kataloogide migratsioone ja võimaldada operaatoril hallata saadavust tsentraalselt.

Abstraktsioon tekitab ka avalikustamise ja arveldamise küsimusi. Kliendid võivad vajada teada, kas pseudonüüm seostub alati ühe mudeliga, valib mitme mudeli hulgast või muudab aja jooksul käitumist. AI API edasimüüjatoimingute puhul peaksid arved ja kasutusekspordid muutma marsruutimistulemuse piisavalt selgeks, et sobitada klienditasud teenusepakkuja kuludega.

Operaatorid peaksid ka otsustama, kas eelarved, määrapiirangud ja juurdepääsupoliitikad on seotud aliase, aluseks olevate mudelite või mõlemaga. Pseudonüüm, mis võib suunata oluliselt erinevate hindadega mudelitele, ei tohiks vaikselt mööda minna kliendi konfigureerimisel kehtestatud kulueeldustest.

Mis jääb ebaselgeks

Cloudflare'i muudatuste logi määrab kindlaks põhikäitumise, kuid ei kirjelda selles teadaandes nutika marsruutimise otsustuskriteeriume. Samuti ei paku see tõrkesiirde toimivusmõõtmisi ega selgita, kui kiiresti pseudonüümi muutused levivad.

Need üksikasjad määravad, kui kindlalt saavad meeskonnad kasutada varjunimesid latentsustundlike või rangelt reguleeritud töökoormuste jaoks. Praegu on vahetu kasu selge: rakendused võivad sõltuda stabiilsest mudelinimest, samal ajal kui marsruutimisotsused liiguvad lüüsi. Vastav kohustus on sama selge: aruandlus, arveldamine ja auditid peavad järgima mudelit, mis tegelikult päringu täitis, mitte ainult rakenduse esitatud varjunime.