Cloudflare je prehodu umetne inteligence dodal samodejni usmerjevalnik, kar razvijalcem omogoča upravljan način za usmerjanje zahtev umetne inteligence z uravnoteženjem pričakovane kakovosti odgovora s ceno žetonov. Podjetje je 30. septembra objavilo posodobitev, ki opisuje sistem, ki oceni kompleksnost zahteve s klasifikatorjem, nameščenim na robu, preden izbere, kaj se mu zdi optimalen model za delo.

Sprememba ni le še ena integracija ponudnika. Prehod AI Gateway približa mehanizmu politike za izbiro modela: razvijalec pošlje zahtevo v prehod in prehod se lahko odloči, kateri model naj mu služi. Zaradi tega je usmerjevalna logika funkcija izdelka prvega reda in ne izjava o preklopu na strani aplikacije ali preferenca statičnega modela.

Za ekipe, ki že uporabljajo prehode za konsolidacijo obračunavanja, dnevnikov in API ključev, se praktično vprašanje spremeni iz "kateri model smo poklicali?" na "zakaj je prehod izbral ta model za to zahtevo?"

Kaj se je spremenilo

Cloudflare pravi, da Auto Router uporablja klasifikator, ki je nameščen na robu, da presodi kompleksnost zahteve. Nato izbere model s tehtanjem pričakovane izhodne kakovosti glede na simbolične stroške. Z drugimi besedami, prehod ni več omejen na posredovanje izrecne izbire modela razvijalca ali uporabo preprostih nadomestnih pravil po napaki.

To je pomembno, ker je izbira modela postala preveč razdrobljena, da bi jo številne ekipe lahko upravljale ročno. Podporni klepetalni robot, pomočnik za kodiranje ali delovni tok dokumentov lahko v istem izdelku obravnava preprosta opravila ekstrakcije, dvoumne razloge, zahteve z dolgim ​​kontekstom in interakcije, občutljive na zakasnitev. Pošiljanje vseh teh zahtev najzmogljivejšemu modelu lahko zapravi proračun. Če jih vse pošljete cenejšemu modelu, lahko poslabšate kakovost odgovora. Samodejno usmerjanje poskuša operacionalizirati sredino.

Natančen podprti ponudnik in nabor modelov se lahko razlikujeta glede na račun, načrt in status uvajanja, zato kupci ne bi smeli domnevati, da je vsak model, ki je na voljo prek prehoda AI Gateway, samodejno del Auto Routerja. Kljub temu je smer jasna: prehodi začenjajo tekmovati glede kakovosti odločitev, ne le glede širine kataloga.

Zakaj prehodi postajajo usmerjevalni sistemi

Do nedavnega se je večina pogovorov o prehodih AI osredotočala na znane pomisleke glede platforme: enotni računi, poverilnice ponudnika, omejitve cen, beleženje in API združljivost. Ti so še vedno potrebni, vendar ne odgovarjajo na težji operativni problem: kako naj podjetje izbere pravi model za vsako zahtevo, ko se cene, zmogljivost in zmogljivosti nenehno spreminjajo?

Statično usmerjanje je v tem okolju krhko. Ekipa lahko zaradi varnosti pripne en model, potem pa pogreša cenejše možnosti za rutinsko delo. Lahko zgradi svojo lastno usmerjevalno plast, vendar to aplikaciji doda primerjalno analizo, hitro klasifikacijo, tabele stroškov, opazljivost in logiko povrnitve nazaj. Usmerjevalnik na ravni prehoda centralizira to logiko in jo lahko, vsaj načeloma, dosledno uporablja v skupinah, izdelkih in najemnikih strank.

To ima neposredne posledice za kateri koli večponudniški LLM API prehod. Usmerjanje ne more več pomeniti le preklopa po izpadu. Vse pogosteje pomeni klasifikacijo pred zahtevo, optimizacijo stroškov in kakovosti, politike za posamezne stranke in revizijsko sled, ki pojasnjuje, zakaj je določen model opravil določeno nalogo.

Cloudflare ni edini, ki spodbuja trg na ta način. OpenRouter je tudi začel predstavljati kakovost usmerjevalnika kot nekaj, kar je mogoče primerjati z indeksom, ki tehta kakovost, hitrost in ceno. Te poteze skupaj kažejo, da bo zmogljivost usmerjevalnika postala del ocenjevanja prodajalca. Kupci bodo vprašali, kako se sprejemajo odločitve o usmerjanju, ali lahko prilagodijo uteži in kako lahko preverijo rezultate glede na lastno delovno obremenitev.

Zaračunavanje postane težje, ko se model izbere pozneje

Samodejno usmerjanje oteži tudi pričakovanja glede zaračunavanja. Če razvijalec imenuje privzeti model, prehod pa uporablja drugega, mora biti pripis stroškov natančen.Stranka mora vedeti, kateri model je dejansko obravnaval zahtevo, koliko je stala in ali je bila ta pot izbrana zaradi kakovosti, cene, zakasnitve ali politike.

To je še posebej pomembno za prodajne posrednike in partnerske platforme. Platforma, ki izpostavlja dostop AI strankam na nižji stopnji, lahko oglašuje stabilne načrte ali marže, vendar lahko dinamično usmerjanje spremeni osnovno kombinacijo ponudnikov. Brez jasnih dnevnikov in poročil o uporabi, namenjenih strankam, je lahko cenejša pot videti kot nedosledno vedenje, dražja pot pa lahko zmanjša marže brez očitne razlage.

Tu mora poenoteno AI API obračunavanje preseči mesečno vsoto. Ekipe potrebujejo identiteto modela na ravni zahteve, število žetonov, kode razlogov za usmerjanje in različice pravilnika. Če usmerjevalnik spremeni svojo mejo odločanja, morajo finance in inženiring razumeti, ali se je poraba premaknila zaradi prometa, cen, razpoložljivosti modela ali samega usmerjevalnika.

Ista težava velja za skupine programske opreme. Če je en oddelek preusmerjen na vrhunske modele pogosteje kot drugi, bodo menedžerji želeli vedeti, ali to odraža zakonito zapletenost nalog ali neučinkovite vzorce uporabe. Kontrole porabe, ki temeljijo le na ključu ali vsoti računa, ne bodo zadostovale, ko prehod aktivno izbira profil stroškov vsake zahteve.

Kaj morajo razvijalci in podjetja preveriti

Razvijalci, ki razmišljajo o samodejnem usmerjevalniku, bi ga morali obravnavati kot infrastrukturo, ki jo je treba oceniti, ne kot čarobno privzeto vrednost. Prvo preverjanje je primernost delovne obremenitve. Razvrščanje, povzemanje, ekstrakcija in kratki podporni odgovori lahko koristijo stroškovno usmerjenemu usmerjanju prej kot visoko tveganim pravnim, medicinskim, varnostnim ali produkcijskim opravilom generiranja kode, kjer sta bolj pomembni doslednost in pregledljivost.

Drugo preverjanje je nadzor preglasitve. Ekipe bi morale vedeti, ali lahko vsilijo določen model za zahtevo, izključijo modele iz usmerjevalne skupine, nastavijo zgornje meje najvišjih stroškov ali ločijo politike usmerjanja glede na okolje. Razvoj, notranja orodja in proizvodni promet, usmerjen k strankam, redko potrebujejo enako vedenje usmerjanja.

Tretje preverjanje je opazljivost. Uporaben usmerjevalnik mora izpostaviti izbrani model, razpoložljive alternative, izmerjene ali ocenjene stroške in dovolj konteksta za odpravljanje napak pri nepričakovanih odločitvah. Za AI API nadzorno raven za skupine razvijalcev te informacije postanejo del upravljanja. Podpira pregled incidentov, izvrševanje proračuna, preverjanje skladnosti in analizo kakovosti na ravni izdelka.

Še vedno obstajajo odprta vprašanja. Javni povzetek Cloudflare ne opredeljuje v celoti skupine modelov, meja uvedbe, podrobnega vedenja klasifikatorja ali tega, koliko razlage odločitev prejmejo stranke. Pravi način za ocenjevanje Auto Routerja bo odvisen od proizvodnih sledi, ne od splošnih primerjalnih trditev. Ekipe bi morale primerjati usmerjen izhod z osnovnimi črtami pripetega modela z lastnimi pozivi, zahtevami glede zakasnitve in merili napak.

Tudi s temi opozorili je zagon pomemben pokazatelj. Cloudflare omogoča izbiro stroškovno usmerjenega modela kot izvorno zmogljivost prehoda. To dviguje letvico za vsakega prodajalca prehodov, vključno z Model Gate, saj bodo stranke vedno bolj pričakovale politike usmerjanja, ki jih je mogoče konfigurirati, jih je mogoče razložiti in so čisto povezani z obračunavanjem in analitiko. Katalog modelov postaja le izhodišče. Bolj strateško vprašanje je, kdo se odloči, kateri model bo uporabljen, in kako se ta odločitev upravlja.