Cloudflare AI Gateway dodao je pseudonime modela, omogućujući korisnicima da stave skup modela iza jednog imena koje koriste aplikacije. Pseudonim može primijeniti ili naređenu pričuvnu politiku ili pametno usmjeravanje, dok klijenti šalju alias kao naziv modela putem REST API pristupnika.
Praktična promjena je odvajanje između identifikatora modela koji aplikacija zahtijeva i modela koji u konačnici obrađuje zahtjev. Operateri pristupnika mogu promijeniti skup, politiku usmjeravanja ili temeljne modele bez ponovnog postavljanja svakog klijenta koji koristi alias. Cloudflare kaže da su aliasi ograničeni na pojedinačne pristupnike.
Ovo je više od pogodnosti za preimenovanje modela. Operaterima daje stabilno sučelje za aplikacije dok se dostupnost pružatelja usluga, verzije modela i postavke usmjeravanja mijenjaju iza njega.
Stabilno ime za skup modela koji se mijenja
Bez sloja aliasa, aplikacije obično ovise o identifikatorima modela specifičnih za pružatelja usluga. Zamjena modela, dodavanje zamjene ili premještanje prometa na drugog pružatelja stoga može zahtijevati promjene konfiguracije na nekoliko usluga. Također može unijeti logiku ponovnog pokušaja i odabira pružatelja u svaki klijent.
Cloudflareova implementacija premješta te odluke u gateway. Uz naručenu zamjenu, operater može definirati preferirani model i alternative koje treba isprobati kada prvi izbor ne može poslužiti zahtjevu. Pametno usmjeravanje pruža alternativu vođenu pravilima u kojoj pristupnik odabire iz skupa umjesto da slijedi fiksni niz.
Taj je raspored posebno relevantan za višemodelni API pristupnik za timove. Softverski tim može aplikacijama dati naziv trajnog modela dok centralno mijenja implementaciju. Također može standardizirati identifikator koji koristi nekoliko internih usluga, smanjujući broj migracija modela koje se moraju koordinirati s vlasnicima aplikacija.
Međutim, alias ostaje specifičan za pristupnik. Organizacije koje upravljaju s nekoliko Cloudflare pristupnika morat će odvojeno upravljati ekvivalentnim aliasima ako žele dosljedna imena i pravila u svim okruženjima ili poslovnim jedinicama.
Preusmjeravanje greške postaje lakše, ali vidljivost postaje teža
Skupovi modela mogu poboljšati otpornost jer aplikacije više ne trebaju vlastiti odabir pružatelja usluga i rezervni kod. Ako operater promijeni naručeni skup, aplikacija nastavlja pozivati isti alias. Isti mehanizam može podržati nadogradnje modela ili promjene pružatelja usluga bez mijenjanja ugovora okrenutog klijentu.
Ali stabilni identifikatori uvode računovodstvenu razliku koju operateri ne mogu zanemariti. Dnevnici i zapisi o korištenju trebali bi sačuvati i alias koji je zatražio klijent i model koji je stvarno poslužio zahtjevu. U suprotnom, zahtjev prijavljen samo pod aliasom može sakriti razlike u cijeni, kašnjenju, kvaliteti izlaza ili rukovanju pružatelja.
Ovo je važno za povrat uplate i korisničku podršku jednako kao i tehničko otklanjanje pogrešaka. Kada dva zahtjeva za isti alias poslužuju različiti modeli, njihovi troškovi i ponašanje mogu se razlikovati iako je konfiguracija klijenta nepromijenjena. AI API kontrolna razina za razvojne timove stoga treba atribuciju na razini izvršenja, a ne samo brojeve grupirane prema javnom nazivu modela.
Evaluacija također postaje stalni operativni zadatak. Promjena usmjeravanja može utjecati na ponašanje aplikacije bez implementacije koda, tako da bi timovi trebali testirati revizije pravila i zadržati zapis o tome koji je model poslužio svaki procijenjeni zahtjev. Upozorenje bi trebalo razlikovati uspješnu zamjenu od normalne upotrebe preferiranog modela, budući da ponovljena zamjena može ukazivati na problem pružatelja ili iscrpljen kapacitet.
Posljedice za preprodavače i operatere platforme
Aliasi su korisni za platforme koje objavljuju katalog modela namijenjen korisnicima. Prodavač može izložiti stabilan naziv proizvoda dok zamjenjuje zastarjeli model, prilagođava kombinaciju pružatelja ili uvodi zamjensku opciju iza njega. To može smanjiti ometajuće migracije kataloga i omogućiti operateru centralno upravljanje dostupnošću.
Apstrakcija također stvara pitanja o otkrivanju podataka i naplati. Kupci će možda trebati znati mapira li alias uvijek na jedan model, odabire li među nekoliko modela ili mijenja ponašanje tijekom vremena. Za AI API operacije preprodavača, fakture i izvozi korištenja trebali bi učiniti ishod usmjeravanja dovoljno jasnim za usklađivanje korisničkih naknada s troškovima pružatelja usluga.
Operateri bi također trebali odlučiti hoće li se proračuni, ograničenja cijena i pravila pristupa priložiti aliasu, temeljnim modelima ili oboje. Pseudonim koji može usmjeravati modele s materijalno različitim cijenama ne bi trebao tiho zaobići pretpostavke o potrošnji utvrđene kada je klijent konfiguriran.
Ono što ostaje nejasno
Cloudflareov dnevnik promjena utvrđuje temeljno ponašanje, ali ne opisuje kriterije odlučivanja koje koristi pametno usmjeravanje u ovoj objavi. Također ne pruža mjerenje performansi za failover niti objašnjava koliko brzo se promjene aliasa šire.
Ti detalji će odrediti koliko pouzdano timovi mogu koristiti pseudonime za radna opterećenja osjetljiva na latenciju ili strogo regulirana. Za sada je neposredna korist jasna: aplikacije mogu ovisiti o nazivu stabilnog modela dok se odluke o usmjeravanju sele u pristupnik. Odgovarajuća obveza jednako je jasna: izvješćivanje, naplata i revizije moraju slijediti model koji je stvarno izvršio zahtjev, a ne samo pseudonim koji je dostavila aplikacija.