Cloudflare AI Gateway je dodal vzdevke modelov, kar strankam omogoča, da nabor modelov postavijo za eno samo ime, ki ga uporabljajo aplikacije. Vzdevek lahko uporabi urejen nadomestni pravilnik ali pametno usmerjanje, medtem ko odjemalci pošljejo vzdevek kot ime modela prek REST API prehoda.

Praktična sprememba je ločitev med identifikatorjem modela, ki ga zahteva aplikacija, in modelom, ki na koncu obravnava zahtevo. Operaterji prehodov lahko spremenijo skupino, politiko usmerjanja ali osnovne modele, ne da bi ponovno razporedili vsakega odjemalca, ki uporablja vzdevek. Cloudflare pravi, da so vzdevki omejeni na posamezne prehode.

To je več kot udobje za preimenovanje modelov. Operaterjem daje stabilen vmesnik za aplikacije, medtem ko se za njim spreminjajo razpoložljivost ponudnika, različice modelov in nastavitve usmerjanja.

Stabilno ime za spremenljivo skupino modelov

Brez plasti vzdevkov so aplikacije običajno odvisne od identifikatorjev modela, specifičnih za ponudnika. Zamenjava modela, dodajanje rezerve ali premik prometa k drugemu ponudniku lahko zato zahteva spremembe konfiguracije v več storitvah. V vsakega odjemalca lahko potisne tudi logiko ponovnega poskusa in izbire ponudnika.

Implementacija Cloudflare premakne te odločitve v prehod. Z naročeno rezervno možnostjo lahko operater določi želeni model in alternative, ki jih poskusi, ko prva izbira ne more izpolniti zahteve. Pametno usmerjanje ponuja alternativo, ki temelji na pravilnikih, pri kateri prehod izbira iz skupine, namesto da bi sledil določenemu zaporedju.

Ta ureditev je še posebej pomembna za večmodelni API prehod za ekipe. Skupina za programsko opremo lahko aplikacijam dodeli trajno ime modela, medtem ko centralno spremeni izvedbo. Prav tako lahko standardizira identifikator, ki ga uporablja več notranjih storitev, in tako zmanjša število selitev modelov, ki jih je treba uskladiti z lastniki aplikacij.

Vendar vzdevek ostaja specifičen za prehod. Organizacije, ki upravljajo več prehodov Cloudflare, bodo morale enakovredne vzdevke upravljati ločeno, če želijo dosledna imena in politike v vseh okoljih ali poslovnih enotah.

Preklop zaradi napake postane lažji, opazljivost pa težja

Baze modelov lahko izboljšajo odpornost, ker aplikacije ne potrebujejo več lastne izbire ponudnika in nadomestne kode. Če operater spremeni naročeno skupino, aplikacija nadaljuje s klicanjem istega vzdevka. Isti mehanizem lahko podpira nadgradnje modela ali spremembe ponudnika, ne da bi spremenili pogodbo, usmerjeno v stranko.

Toda stabilni identifikatorji uvajajo računovodsko razliko, ki je operaterji ne morejo prezreti. Dnevniki in zapisi o uporabi morajo ohraniti vzdevek, ki ga je zahteval odjemalec, in model, ki je dejansko služil zahtevi. V nasprotnem primeru lahko zahteva, prijavljena samo pod vzdevkom, skrije razlike v ceni, zakasnitvi, izhodni kakovosti ali ravnanju ponudnika.

To je za povratno bremenitev in podporo strankam enako pomembno kot tehnično odpravljanje napak. Ko dve zahtevi za isti vzdevek strežeta različna modela, se lahko njuni stroški in vedenje razlikujejo, čeprav je konfiguracija odjemalca nespremenjena. Nadzorna ravnina AI API za skupine razvijalcev zato potrebuje dodeljevanje na ravni izvajanja, ne le štetja, razvrščenih po javnem imenu modela.

Vrednotenje postane tudi stalna operativna naloga. Sprememba usmerjanja lahko vpliva na vedenje aplikacije brez uvedbe kode, zato bi morale ekipe preizkusiti revizije pravilnika in hraniti evidenco o tem, kateri model je služil posamezni ovrednoteni zahtevi. Opozorilo bi moralo ločiti uspešno nadomestno rešitev od običajne uporabe prednostnega modela, saj lahko ponavljajoča se nadomestna izvedba kaže na težavo ponudnika ali izčrpano zmogljivost.

Posledice za preprodajalce in operaterje platform

Vzdevki so uporabni za platforme, ki objavljajo katalog modelov, namenjen strankam. Preprodajalec lahko izpostavi stabilno ime izdelka, medtem ko zamenja zastarel model, prilagodi kombinacijo ponudnikov ali uvede nadomestno možnost za njim. To lahko zmanjša moteče selitve katalogov in omogoči operaterju centralno upravljanje razpoložljivosti.

Abstrakcija ustvarja tudi vprašanja glede razkritja in zaračunavanja. Stranke bodo morda morale vedeti, ali se vzdevek vedno preslika na en model, izbira med več modeli ali spreminja vedenje skozi čas. Za AI API operacije preprodajalcev morajo biti računi in izvozi uporabe rezultat usmerjanja dovolj jasen, da se stroški strank uskladijo s stroški ponudnika.

Operaterji se morajo tudi odločiti, ali so proračuni, omejitve stopenj in pravilniki dostopa povezani z vzdevkom, osnovnimi modeli ali obojim. Vzdevek, ki lahko usmerja do modelov z bistveno drugačnimi cenami, ne bi smel tiho zaobiti predpostavk o porabi, določenih ob konfiguraciji odjemalca.

Kaj ostaja nejasno

Dnevnik sprememb Cloudflare določa osnovno vedenje, vendar ne opisuje kriterijev odločanja, ki jih uporablja pametno usmerjanje v tej objavi. Prav tako ne zagotavlja meritev zmogljivosti za samodejni preklop ali pojasnjuje, kako hitro se širijo spremembe vzdevkov.

Te podrobnosti bodo določile, kako samozavestno lahko ekipe uporabljajo vzdevke za obremenitve, ki so občutljive na zakasnitev ali strogo nadzorovane. Za zdaj je takojšnja korist jasna: aplikacije so lahko odvisne od stabilnega imena modela, medtem ko se odločitve o usmerjanju premaknejo v prehod. Ustrezna obveznost je prav tako jasna: poročanje, zaračunavanje in revizije morajo slediti modelu, ki je dejansko izvršil zahtevo, ne le vzdevku, ki ga je posredovala aplikacija.