OpenRouter je dodal beta gostujoče orodje za izvajanje lupine in datoteke API, s čimer je razvijalcem omogočilo, da omogočijo modelom za klicanje orodij izvajanje ukazov v izoliranih vsebnikih Linux prek usmerjevalne plasti OpenRouter. Izdaja je več kot le ena funkcija agenta. Spreminja model obračunavanja za infrastrukturo umetne inteligence z več modeli: zahteva lahko zdaj vključuje žetone modela, čas izvajanja orodja, ravnanje z datotekami in vedenje združljivosti v več kot enem slogu API.

Novo strežniško orodje, imenovano openrouter:shell, omogoča podprtim modelom izvajanje ukazov v gostujočih vsebnikih in vračanje standardnih rezultatov izvajanja, vključno s stdout, stderr in izhodnimi kodami. OpenRouter pravi, da orodje deluje prek poti odzivov API in poti združljivosti Anthropic sporočil API, kar je pomembno, ker razvijalci vedno bolj poskušajo ohraniti prenosljivost implementacij agentov med ponudniki modelov, namesto da bi vsak potek dela vezali na izvorni vmesnik orodja enega prodajalca.

OpenRouter ceni peskovnik po 0,0001 USD na sekundo, zaračunano kot del zahteve. Uporaba datotek API je vključena med različico beta. To ustvari ločeno stroškovno dimenzijo od običajnih vhodnih in izhodnih žetonov, operaterjem prehodov pa daje konkreten primer, zakaj poenoteno AI API obračunavanje postaja težje od seštevanja stroškov žetonov modela.

Kaj se je spremenilo

Do nedavnega je bilo izvajanje gostujoče kode običajno vezano na sklad agentov, specifičnih za ponudnika, ali pa je od razvijalcev zahtevalo, da upravljajo lastno floto peskovnikov. OpenRouterjeva beta vstavi to zmožnost v platformo za usmerjanje, ki se že uporablja za dostop do številnih modelov. V praksi lahko agent od modela zahteva, da pregleda podatke, zažene skripte, manipulira z datotekami ali preizkusi majhne koščke kode, ne da bi aplikacijska skupina zagotovila vsebnike neposredno za vsako izvedbo.

Podrobnosti o združljivosti so pomembne. OpenRouter pozicionira lupinsko orodje ne kot zmožnost ene družine modelov, temveč kot površino orodja na ravni platforme, ki je na voljo prek znanih API vzorcev. Za ekipe, ki so gradile na semantiki odgovorov v slogu OpenAI ali semantiki sporočil v slogu Anthropic, je lahko gostujoče orodje bližje sloju prehoda kot sloju modela.

To ne naredi obnašanja orodja čarobno enotnega. Različni modeli se razlikujejo glede na to, kako kličejo orodja, obnovijo po napakah, razmišljajo o izhodu ukazov in upravljajo datoteke. Toda odločitev o infrastrukturi se spreminja. Namesto spraševanja samo, kateri model lahko napiše lupinski ukaz, se morajo razvijalci zdaj vprašati, kateri prehod ga lahko varno izvede, meri in vrne rezultate v API obliki, ki jo njihov odjemalec že razume.

Zakaj je merjenje izvajalnega časa pomembno

Cena žetona ni več dovolj za opis stroškov zahteve posrednika. Eno dejanje uporabnika lahko vključuje poziv, več obratov modela, nalaganje datotek, izvajanje lupine, ponovne poskuse in končno povzemanje. Dražji del je lahko izhod modela ali pa dolgotrajen ukaz, ki ustvari malo besedila. Cena peskovnika OpenRouter na sekundo je to razlikovanje jasno.

Za razvijalce je takojšnja posledica oblikovanje proračuna. Agentske zanke potrebujejo omejitve glede trajanja ukaza, vedenja pri ponovnem poskusu in predpostavk o hrambi datotek. Zahteva na videz neškodljiva, ki se razširi v ponavljajoče se lupinske klice, lahko povzroči stroške izvajanja, tudi če je uporaba žetona skromna. Beleženje mora prikazati ne samo število modelov, ponudnikov in žetonov, ampak tudi ime orodja, trajanje izvajanja, stanje izhoda in ali je model poskusil znova po napaki.

Za podjetja, ki gradijo na modelu prehodov, se sprememba dotika marž in poročanja o strankah. Partnerski izdelek, ki preprodaja avtomatizacijo AI, ne more vsake zahteve obravnavati kot dokončanje besedila z oznako. Potrebuje knjigo uporabe, ki lahko pripiše stroške modela in stroške gostujočega orodja pravemu delovnemu prostoru, končni stranki ali ključu API. To je neposredno povezano z partnerjem API avtomatizacijo, kjer nižja stranka morda nikoli ne bo videla neobdelanega računa OpenRouterja, vendar še vedno pričakuje skladen račun.

Koga to zadeva

Prva prizadeta skupina so razvijalci agentov, ki želijo izvajanje kode, ne da bi se zavezali polni agentski platformi enega ponudnika modela. Pristop OpenRouterja bo morda všeč ekipam, ki že usmerjajo promet med modeli in želijo dodati lupinski dostop, hkrati pa ohraniti nekaj prilagodljivosti pri izbiri modela.

Druga skupina so ekipe za platforme in prehode. Zdaj se morajo odločiti, ali so gostujoča orodja prvovrstni kataloški elementi, ali jih je mogoče omogočiti na delovni prostor in kako so njihovi stroški prikazani na nadzornih ploščah. Vrstico kataloga modelov bo morda treba združiti z razpoložljivostjo orodja, omejitvami časa izvajanja in opombami o združljivosti. Nadzor dostopa bo morda moral razlikovati med dovoljevanjem klica modela in dovoljevanjem, da ta klic zažene vsebnik.

Tretja skupina so finančne in operativne ekipe, ki upravljajo porabo umetne inteligence. Analitika uporabe, ki se ustavi pri žetonih, bo zamudila rastoči razred stroškov infrastrukture agentov. Uporabna AI API nadzorna plošča za analitiko uporabe bi morala pokazati, ali je do skoka prišlo zaradi izbire modela, količine žetona, časa izvajanja peskovnika ali spremembe zasnove delovnega toka, ki je povzročila dodatne klice orodja.

Kaj ostaja negotovo

Beta pušča odprtih več praktičnih vprašanj. OpenRouter pravi, da je uporaba datotek API vključena v orodje lupine med različico beta, vendar so lahko dolgoročne cene datotek, pravila hrambe in operativne omejitve še vedno pomembni za proizvodne delovne obremenitve. Razvijalci bodo morali tudi preizkusiti, kateri modeli delujejo zanesljivo z orodjem lupine na podprtih API združljivih poteh.

Varnost je še eno nerešeno vprašanje implementacije za kupce. OpenRouter opisuje ukaze, kot da se izvajajo v izoliranih gostujočih vsebnikih Linuxa, vendar bodo podjetja vseeno vprašala o omrežnem dostopu, namestitvi paketa, obstojnosti datotek, revizijskih dnevnikih in ravnanju s podatki, preden pošljejo občutljive delovne obremenitve prek gostujočega izvajalnega okolja.

Vendar je širša usmeritev jasna: prehodi absorbirajo več časa izvajanja agentov. Usmerjanje modela je včasih pomenilo izbiro, kam je bil poslan poziv. Zdaj vedno bolj vključuje semantiko orodja, stanje datoteke, politiko izvajanja in merjenje brez žetonov. OpenRouterjeva lupina beta je koristen označevalec, ker pripisuje jasno ceno zmogljivosti, ki jo mnogi ustvarjalci agentov obravnavajo kot infrastrukturo v ozadju. Ko se čas izvedbe pojavi na računu, postane del produktne arhitekture.