Cloudflare AI Gateway pridal aliasy modelov, ktoré zákazníkom umožňujú umiestniť skupinu modelov pod jeden názov používaný aplikáciami. Alias môže použiť buď objednanú záložnú politiku alebo inteligentné smerovanie, zatiaľ čo klienti posielajú alias ako názov modelu cez REST API brány.

Praktická zmena spočíva v oddelení medzi identifikátorom modelu, ktorý aplikácia požaduje, a modelom, ktorý žiadosť nakoniec spracuje. Operátori brán môžu zmeniť oblasť, smerovaciu politiku alebo základné modely bez opätovného nasadenia každého klienta, ktorý používa alias. Cloudflare hovorí, že aliasy sa vzťahujú na jednotlivé brány.

Je to viac než len pohodlie pri premenovávaní modelov. Operátorom poskytuje stabilné rozhranie pre aplikácie, pričom sa mení dostupnosť poskytovateľa, verzie modelov a preferencie smerovania.

Stabilný názov pre meniaci sa modelový fond

Bez vrstvy aliasov aplikácie bežne závisia od identifikátorov modelu špecifických pre poskytovateľa. Výmena modelu, pridanie záložného zdroja alebo presun prevádzky k inému poskytovateľovi si preto môže vyžadovať zmeny v konfigurácii viacerých služieb. Môže tiež vložiť do každého klienta logiku opakovania a výberu poskytovateľa.

Implementácia Cloudflare presúva tieto rozhodnutia do brány. S objednaným núdzovým riešením môže operátor definovať preferovaný model a alternatívy, ktoré môže vyskúšať, keď prvá voľba nemôže splniť požiadavku. Inteligentné smerovanie poskytuje alternatívu riadenú politikou, v ktorej brána vyberá z fondu namiesto toho, aby postupovala podľa pevnej sekvencie.

Toto usporiadanie je obzvlášť dôležité pre multimodelovú API bránu pre tímy. Softvérový tím môže prideliť aplikáciám trvalý názov modelu a zároveň centrálne zmeniť implementáciu. Môže tiež štandardizovať identifikátor používaný niekoľkými internými službami, čím sa znižuje počet migrácií modelov, ktoré musia byť koordinované s vlastníkmi aplikácií.

Alias však zostáva špecifický pre bránu. Organizácie prevádzkujúce niekoľko brán Cloudflare budú musieť spravovať ekvivalentné aliasy oddelene, ak chcú konzistentné názvy a pravidlá naprieč prostrediami alebo obchodnými jednotkami.

Zlyhanie je jednoduchšie, ale pozorovateľnosť je ťažšia

Skupiny modelov môžu zlepšiť odolnosť, pretože aplikácie už nepotrebujú vlastný kód na výber poskytovateľa a záložný kód. Ak operátor zmení objednaný fond, aplikácia pokračuje vo volaní rovnakého aliasu. Rovnaký mechanizmus môže podporovať inovácie modelu alebo zmeny poskytovateľa bez toho, aby sa zmenila zmluva pre klienta.

Stabilné identifikátory však predstavujú účtovný rozdiel, ktorý operátori nemôžu ignorovať. Protokoly a záznamy o používaní by mali zachovať alias požadovaný klientom aj model, ktorý skutočne vybavil požiadavku. V opačnom prípade môže žiadosť nahlásená iba pod aliasom skrývať rozdiely v cene, latencii, kvalite výstupu alebo zaobchádzaní s poskytovateľom.

To je dôležité pre kompenzáciu a zákaznícku podporu rovnako ako technické ladenie. Keď sú dve požiadavky na rovnaký alias obsluhované rôznymi modelmi, ich náklady a správanie sa môžu líšiť, aj keď sa konfigurácia klienta nemení. Riadiaca rovina AI API pre tímy vývojárov preto potrebuje pripisovanie na úrovni vykonávania, nielen počty zoskupené podľa názvu verejného modelu.

Hodnotenie sa tiež stáva nepretržitou operatívnou úlohou. Zmena smerovania môže ovplyvniť správanie aplikácie bez nasadenia kódu, takže tímy by mali testovať revízie politiky a uchovávať záznam o tom, ktorý model obslúžil každú vyhodnocovanú požiadavku. Upozornenie by malo odlíšiť úspešnú záložnú verziu od bežného používania preferovaného modelu, pretože opakovaná záložná reklama môže naznačovať problém poskytovateľa alebo vyčerpanú kapacitu.

Dôsledky pre predajcov a prevádzkovateľov platforiem

Aliasy sú užitočné pre platformy, ktoré zverejňujú katalóg modelov pre zákazníkov. Predajca môže odhaliť stabilný názov produktu a zároveň nahradiť zastaraný model, upraviť mix poskytovateľov alebo zaviesť záložnú možnosť. To môže znížiť rušivé migrácie katalógu a umožniť operátorovi centrálne spravovať dostupnosť.

Abstrakcia tiež vytvára otázky týkajúce sa sprístupnenia informácií a fakturácie. Zákazníci môžu potrebovať vedieť, či sa alias vždy mapuje na jeden model, vyberá z niekoľkých modelov alebo či mení správanie v priebehu času. V prípade operácií AI API predajcu by mali faktúry a exporty používania uvádzať výsledok smerovania dostatočne jasný, aby bolo možné zosúladiť zákaznícke poplatky s nákladmi poskytovateľa.

Operátori by sa tiež mali rozhodnúť, či sa k aliasu, základným modelom alebo obom pripájajú rozpočty, limity sadzieb a zásady prístupu. Alias, ktorý môže smerovať k modelom s podstatne odlišnými cenami, by nemal v tichosti obchádzať predpoklady výdavkov stanovené pri konfigurácii klienta.

Čo zostáva nejasné

Protokol zmien Cloudflare stanovuje základné správanie, ale nepopisuje rozhodovacie kritériá, ktoré používa inteligentné smerovanie v tomto oznámení. Neposkytuje ani merania výkonu pri zlyhaní ani nevysvetľuje, ako rýchlo sa šíria zmeny aliasov.

Tieto podrobnosti určia, s akou istotou môžu tímy používať aliasy pre úlohy citlivé na latenciu alebo prísne regulované úlohy. Zatiaľ je okamžitá výhoda jasná: aplikácie môžu závisieť od stabilného názvu modelu, zatiaľ čo rozhodnutia o smerovaní sa presúvajú do brány. Zodpovedajúca povinnosť je rovnako jasná: vykazovanie, fakturácia a audity sa musia riadiť modelom, ktorý skutočne vykonal požiadavku, nielen aliasom dodanej aplikácie.