A Cloudflare AI Gateway modellálneveket adott hozzá, lehetővé téve az ügyfelek számára, hogy modellkészletet helyezzenek el az alkalmazások által használt egyetlen név mögé. Az alias alkalmazhat megrendelt tartalék házirendet vagy intelligens útválasztást, míg az ügyfelek az aliast modellnévként küldik el az átjáró REST API számán keresztül.

A gyakorlati változás az alkalmazások által kért modellazonosító és a kérést végső soron kezelő modell elkülönítése. Az átjáró-operátorok anélkül módosíthatják a készletet, az útválasztási házirendet vagy a mögöttes modelleket, hogy minden, az álnevet használó klienst újratelepítenének. A Cloudflare azt mondja, hogy az álnevek az egyes átjárókra vonatkoznak.

Ez több, mint a modellek átnevezésének kényelme. Stabil felületet biztosít az üzemeltetőknek az alkalmazásokhoz, miközben a szolgáltatók elérhetősége, a modellverziók és az útválasztási beállítások változnak mögötte.

Stabil név változó modellkészlethez

Alnévréteg nélkül az alkalmazások általában a szolgáltató-specifikus modellazonosítóktól függenek. Egy modell cseréje, tartalék hozzáadása vagy a forgalom másik szolgáltatóhoz való áthelyezése ezért számos szolgáltatás konfigurációjának módosítását teheti szükségessé. Ezenkívül az újrapróbálkozási és szolgáltatóválasztási logikát is benyomhatja az egyes kliensekbe.

A Cloudflare megvalósítása ezeket a döntéseket az átjáróba helyezi át. Rendezett tartalék esetén az operátor meghatározhat egy preferált modellt és alternatívákat, amelyeket akkor próbálhat ki, ha az első választás nem tud egy kérést kiszolgálni. Az intelligens útválasztás házirend-vezérelt alternatívát kínál, amelyben az átjáró a készletből választ, nem pedig rögzített sorrendet követ.

Ez az elrendezés különösen fontos a többmodell API csapatoknak szóló átjárónál. A szoftvercsapat tartós modellnevet adhat az alkalmazásoknak, miközben központilag módosítja a megvalósítást. Ezenkívül szabványosítani tudja a számos belső szolgáltatás által használt azonosítót, csökkentve az alkalmazástulajdonosokkal egyeztetendő modelláttelepítések számát.

Az álnév azonban átjárófüggő marad. A több Cloudflare-átjárót üzemeltető szervezeteknek külön kell kezelniük az egyenértékű álneveket, ha konzisztens neveket és irányelveket szeretnének alkalmazni a környezetekben vagy az üzleti egységekben.

A feladatátvétel könnyebbé válik, de a megfigyelhetőség nehezebbé válik

A modellkészletek javíthatják az ellenálló képességet, mivel az alkalmazásoknak többé nincs szükségük saját szolgáltatóválasztási és tartalékkódra. Ha egy operátor megváltoztatja a rendezett készletet, az alkalmazás továbbra is ugyanazt az álnevet hívja. Ugyanez a mechanizmus támogatja a modellfrissítéseket vagy a szolgáltatók módosításait anélkül, hogy módosítaná az ügyféllel kötött szerződést.

A stabil azonosítók azonban olyan számviteli megkülönböztetést vezetnek be, amelyet az operátorok nem hagyhatnak figyelmen kívül. A naplóknak és a használati rekordoknak meg kell őrizniük mind az ügyfél által kért álnevet, mind a kérést ténylegesen kiszolgáló modellt. Ellenkező esetben a csak az álnév alatt jelentett kérések elrejthetik az ár, a várakozási idő, a kimeneti minőség vagy a szolgáltató kezelésének különbségeit.

Ez ugyanúgy fontos a visszaterhelés és az ügyfélszolgálat szempontjából, mint a technikai hibakeresés. Ha ugyanarra az álnévre irányuló két kérést különböző modellek szolgálnak ki, azok költségei és viselkedése eltérő lehet annak ellenére, hogy az ügyfél konfigurációja változatlan. Az AI API vezérlősík fejlesztői csapatok számára ezért végrehajtási szintű hozzárendelést igényel, nem csak a nyilvános modellnév alapján csoportosított számlálásokat.

Az értékelés folyamatos működési feladattá is válik. Az útválasztás módosítása kódtelepítés nélkül is hatással lehet az alkalmazások viselkedésére, ezért a csapatoknak tesztelniük kell a házirend-változatokat, és meg kell őrizniük a nyilvántartást arról, hogy az egyes kiértékelt kéréseket melyik modell szolgálta ki. A riasztásnak meg kell különböztetnie a sikeres visszaesést az előnyben részesített modell normál használatától, mivel az ismételt visszaesés szolgáltatói problémát vagy kimerült kapacitást jelezhet.

Következmények a viszonteladók és platformüzemeltetők számára

Az álnevek olyan platformokon hasznosak, amelyek vásárlói modellkatalógust tesznek közzé. A viszonteladó felfedhet egy stabil terméknevet, miközben lecserél egy elavult modellt, módosítja a szolgáltatói mixet, vagy tartalék opciót vezet be mögötte. Ez csökkentheti a zavaró katalógus-migrációkat, és lehetővé teszi az üzemeltető számára, hogy központilag kezelje a rendelkezésre állást.

Az absztrakció közzétételi és számlázási kérdéseket is felvet. Előfordulhat, hogy az ügyfeleknek tudniuk kell, hogy egy alias mindig egy modellre vonatkozik-e, több modell közül választ-e, vagy idővel megváltoztatja-e a viselkedését. A AI API viszonteladói műveletek esetében a számláknak és a használati exportálásoknak kellően egyértelművé kell tenniük az útválasztás eredményét ahhoz, hogy összeegyeztessék az ügyfelek költségeit a szolgáltatói költségekkel.

Az üzemeltetőknek azt is el kell dönteniük, hogy költségvetések, díjkorlátok és hozzáférési szabályzatok kapcsolódnak-e az álnévhez, az alapul szolgáló modellekhez vagy mindkettőhöz. Az a alias, amely lényegesen eltérő árú modellekhez tud irányítani, nem kerülheti el csendben az ügyfél konfigurálásakor megállapított kiadási feltételezéseket.

Mi marad tisztázatlan

A Cloudflare változásnaplója meghatározza az alapvető viselkedést, de nem írja le az intelligens útválasztás által használt döntési feltételeket ebben a közleményben. Ezenkívül nem ad teljesítménymérést a feladatátvételhez, és nem magyarázza meg, milyen gyorsan terjednek az álnevek változásai.

Ezek a részletek határozzák meg, hogy a csapatok mennyire tudják magabiztosan használni az álneveket a várakozási időre érzékeny vagy szigorúan szabályozott munkaterhelésekhez. Egyelőre az azonnali előny egyértelmű: az alkalmazások egy stabil modellnévtől függhetnek, miközben az útválasztási döntések az átjáróba kerülnek. A megfelelő kötelezettség ugyanilyen egyértelmű: a jelentésnek, a számlázásnak és az ellenőrzésnek a kérést ténylegesen végrehajtó modellt kell követnie, nem csak az alkalmazás által megadott álnevet.