Cloudflare AI Gateway ir pievienojis modeļu aizstājvārdus, ļaujot klientiem novietot modeļu kopu aiz viena lietojumprogrammās lietotā nosaukuma. Aizstājvārds var lietot vai nu pasūtītu atkāpšanās politiku, vai viedo maršrutēšanu, savukārt klienti nosūta aizstājvārdu kā modeļa nosaukumu, izmantojot vārtejas REST API.

Praktiskās izmaiņas ir lietojumprogrammas pieprasītā modeļa identifikatora nošķiršana no modeļa, kas galu galā apstrādā pieprasījumu. Vārtejas operatori var mainīt kopu, maršrutēšanas politiku vai pamatā esošos modeļus, nepārkārtojot katru klientu, kas izmanto aizstājvārdu. Cloudflare saka, ka aizstājvārdi ir piemēroti atsevišķām vārtejām.

Tas ir vairāk nekā modeļu pārdēvēšanas ērtības. Tas nodrošina operatoriem stabilu saskarni lietojumprogrammām, kamēr pakalpojumu sniedzēja pieejamība, modeļu versijas un maršrutēšanas preferences mainās aiz tā.

Stabils nosaukums mainīgam modeļu kopumam

Bez aizstājvārdu slāņa lietojumprogrammas parasti ir atkarīgas no pakalpojumu sniedzēja specifiskiem modeļa identifikatoriem. Tāpēc modeļa nomaiņa, rezerves pievienošana vai datplūsmas pārvietošana uz citu pakalpojumu sniedzēju var prasīt konfigurācijas izmaiņas vairākos pakalpojumos. Tas var arī iespiest katrā klientā atkārtošanas mēģinājumu un nodrošinātāja atlases loģiku.

Cloudflare ieviešana pārceļ šos lēmumus vārtejā. Izmantojot pasūtīto atkāpšanos, operators var definēt vēlamo modeli un alternatīvas, ko izmēģināt, ja pirmā izvēle nevar izpildīt pieprasījumu. Viedā maršrutēšana nodrošina uz politiku balstītu alternatīvu, kurā vārteja izvēlas no kopas, nevis seko noteiktai secībai.

Šis izkārtojums īpaši attiecas uz vairāku modeļu API vārteju komandām. Programmatūras komanda var piešķirt lietojumprogrammām izturīgu modeļa nosaukumu, vienlaikus mainot ieviešanu centralizēti. Tas var arī standartizēt identifikatoru, ko izmanto vairāki iekšējie pakalpojumi, samazinot modeļu migrāciju skaitu, kas jāsaskaņo ar lietojumprogrammu īpašniekiem.

Tomēr aizstājvārds joprojām ir atkarīgs no vārtejas. Organizācijām, kas izmanto vairākas Cloudflare vārtejas, līdzvērtīgi aizstājvārdi būs jāpārvalda atsevišķi, ja tās vēlas konsekventus nosaukumus un politikas dažādās vidēs vai uzņēmējdarbības vienībās.

Kļūdas pāreja kļūst vieglāka, bet novērojamība kļūst grūtāka

Modeļu pūli var uzlabot noturību, jo lietojumprogrammām vairs nav nepieciešams savs nodrošinātāja atlases un rezerves kods. Ja operators maina pasūtīto pūlu, lietojumprogramma turpina izsaukt to pašu aizstājvārdu. Tas pats mehānisms var atbalstīt modeļa jauninājumus vai nodrošinātāja izmaiņas, nemainot klientu noslēgto līgumu.

Taču stabili identifikatori ievieš grāmatvedības atšķirību, ko operatori nevar ignorēt. Žurnāliem un lietošanas ierakstiem jāsaglabā gan klienta pieprasītais aizstājvārds, gan modelis, kas faktiski apkalpoja pieprasījumu. Pretējā gadījumā pieprasījums, kas tiek ziņots tikai ar aizstājvārdu, var slēpt atšķirības cenā, latentumā, izvades kvalitātē vai nodrošinātāja apstrādē.

Tas ir svarīgi gan atmaksai un klientu atbalstam, gan tehniskajai atkļūdošanai. Ja divi pieprasījumi vienam aizstājvārdam tiek apkalpoti ar dažādiem modeļiem, to izmaksas un darbība var atšķirties, pat ja klienta konfigurācija nav mainīta. Tāpēc AI API vadības plaknei izstrādātāju komandām ir nepieciešams izpildes līmeņa attiecinājums, nevis tikai skaitļi, kas grupēti pēc publiskā modeļa nosaukuma.

Novērtēšana arī kļūst par nepārtrauktu darbības uzdevumu. Maršrutēšanas izmaiņas var ietekmēt lietojumprogrammas darbību bez koda izvietošanas, tāpēc komandām ir jāpārbauda politikas pārskatījumi un jāsaglabā ieraksts par to, kurš modelis apkalpoja katru novērtēto pieprasījumu. Brīdināšanai ir jānošķir veiksmīga atkāpšanās no vēlamā modeļa parastas lietošanas, jo atkārtota atkāpšanās var norādīt uz pakalpojumu sniedzēja problēmu vai izsmeltu jaudu.

Sekas tālākpārdevējiem un platformu operatoriem

Pestvārdi ir noderīgi platformām, kas publicē klientiem paredzētu modeļu katalogu. Tālākpārdevējs var atklāt stabilu produkta nosaukumu, vienlaikus aizstājot novecojušu modeli, pielāgojot pakalpojumu sniedzēju klāstu vai aiz tā ieviešot rezerves opciju. Tas var samazināt traucējošo katalogu migrāciju un ļaut operatoram centralizēti pārvaldīt pieejamību.

Abstrakcija rada arī informācijas atklāšanas un norēķinu jautājumus. Klientiem, iespējams, būs jāzina, vai aizstājvārds vienmēr ir saistīts ar vienu modeli, izvēlas no vairākiem modeļiem vai laika gaitā maina uzvedību. AI API tālākpārdevēja darbībām rēķiniem un lietojuma eksportam ir jābūt pietiekami skaidram maršrutēšanas rezultātam, lai saskaņotu klientu izmaksas ar pakalpojumu sniedzēja izmaksām.

Operatoriem arī jāizlemj, vai budžeti, tarifu ierobežojumi un piekļuves politikas ir pievienoti aizstājvārdam, pamatā esošajiem modeļiem vai abiem. Pseidonīms, kas var novirzīt uz modeļiem ar būtiski atšķirīgām cenām, nedrīkst klusi apiet tēriņu pieņēmumus, kas tika noteikti, kad klients tika konfigurēts.

Kas paliek neskaidrs

Cloudflare izmaiņu žurnāls nosaka galveno darbību, taču tajā nav aprakstīti lēmuma kritēriji, ko šajā paziņojumā izmanto viedā maršrutēšana. Tas arī nenodrošina veiktspējas mērījumus kļūmjpārlēcei un nepaskaidro, cik ātri tiek izplatītas aizstājvārda izmaiņas.

Šī informācija noteiks, cik pārliecinoši komandas var izmantot aizstājvārdus latentuma jutīgām vai stingri kontrolētām darba slodzēm. Pagaidām tūlītējs ieguvums ir skaidrs: lietojumprogrammas var būt atkarīgas no stabila modeļa nosaukuma, kamēr maršrutēšanas lēmumi tiek pārvietoti uz vārteju. Attiecīgais pienākums ir vienlīdz skaidrs: ziņošanai, rēķiniem un auditiem ir jāievēro modelis, kas faktiski izpildīja pieprasījumu, nevis tikai lietojumprogrammas aizstājvārdu.