OpenRouter je dodal beta orodje za izvajanje lupine, ki gostuje, in Files API, kar razvijalcem omogoča, da modelom za klicanje orodij omogočijo izvajanje ukazov v izoliranih vsebnikih Linuxa prek sloja usmerjanja OpenRouter. Izdaja je več kot le ena funkcija agenta. Spreminja računovodski model za infrastrukturo umetne inteligence z več modeli: zahteva lahko zdaj vključuje žetone modela, čas izvajanja orodja, ravnanje z datotekami in združljivostno vedenje v več kot enem slogu API-ja.

Novo strežniško orodje, imenovano openrouter:shell, omogoča podprtim modelom izvajanje ukazov v gostujočih vsebnikih in vračanje standardnih rezultatov izvajanja, vključno s stdout, stderr in izhodnimi kodami. OpenRouter pravi, da orodje deluje prek poti API-ja Responses in poti združljivosti API-ja Anthropic Messages, kar je pomembno, ker razvijalci vedno bolj poskušajo ohraniti prenosljivost implementacij agentov med ponudniki modelov, namesto da bi vsak potek dela vezali na izvorni vmesnik orodja enega prodajalca.

OpenRouter ceni peskovnik po 0,0001 USD na sekundo, zaračunano kot del zahteve. Uporaba Files API je vključena med različico beta. To ustvari ločeno stroškovno dimenzijo od običajnih vhodnih in izhodnih žetonov, operaterjem prehodov pa daje konkreten primer, zakaj poenoteno zaračunavanje API-ja AI postaja težje od seštevanja stroškov žetonov modela.

Kaj se je spremenilo

Do nedavnega je bilo izvajanje gostujoče kode običajno vezano na sklad agentov, specifičnih za ponudnika, ali pa je od razvijalcev zahtevalo, da upravljajo lastno floto peskovnikov. OpenRouterjeva beta vstavi to zmožnost v platformo za usmerjanje, ki se že uporablja za dostop do številnih modelov. V praksi lahko agent od modela zahteva, da pregleda podatke, zažene skripte, manipulira z datotekami ali preizkusi majhne koščke kode, ne da bi aplikacijska skupina zagotovila vsebnike neposredno za vsako izvedbo.

Podrobnosti o združljivosti so pomembne. OpenRouter pozicionira lupinsko orodje ne kot zmožnost ene družine modelov, ampak kot površino orodja na ravni platforme, ki je na voljo prek znanih vzorcev API. Za ekipe, ki so gradile na semantiki odzivov v slogu OpenAI ali semantiki sporočil v slogu antropike, je lahko gostujoče orodje bližje sloju prehoda kot sloju modela.

To ne naredi obnašanja orodja čarobno enotnega. Različni modeli se razlikujejo glede na to, kako kličejo orodja, obnovijo po napakah, razmišljajo o izhodu ukazov in upravljajo datoteke. Toda odločitev o infrastrukturi se spreminja. Namesto spraševanja, kateri model lahko napiše lupinski ukaz, se morajo razvijalci zdaj vprašati, kateri prehod ga lahko varno izvede, meri in vrne rezultate v obliki API-ja, ki jo njihov odjemalec že razume.

Zakaj je merjenje izvajalnega časa pomembno

Cena žetona ni več dovolj za opis stroškov zahteve posrednika. Eno dejanje uporabnika lahko vključuje poziv, več obratov modela, nalaganje datotek, izvajanje lupine, ponovne poskuse in končno povzemanje. Dražji del je lahko izhod modela ali pa dolgotrajen ukaz, ki ustvari malo besedila. Cena peskovnika OpenRouter na sekundo je to razlikovanje jasno.

Za razvijalce je takojšnja posledica oblikovanje proračuna. Agentske zanke potrebujejo omejitve glede trajanja ukaza, vedenja pri ponovnem poskusu in predpostavk o hrambi datotek. Zahteva na videz neškodljiva, ki se razširi v ponavljajoče se lupinske klice, lahko povzroči stroške izvajanja, tudi če je uporaba žetona skromna. Beleženje mora prikazati ne samo število modelov, ponudnikov in žetonov, ampak tudi ime orodja, trajanje izvajanja, stanje izhoda in ali je model poskusil znova po napaki.

Za podjetja, ki gradijo na modelu prehodov, se sprememba dotika marž in poročanja o strankah. Partnerski izdelek, ki preprodaja avtomatizacijo AI, ne more vsake zahteve obravnavati kot dokončanje besedila z oznako. Potrebuje knjigo uporabe, ki lahko pripiše stroške modela in stroške gostujočega orodja pravemu delovnemu prostoru, končni stranki ali ključu API-ja. To je neposredno pomembno za partnersko avtomatizacijo API-ja, kjer nižja stranka morda nikoli ne bo videla neobdelanega računa OpenRouter, vendar še vedno pričakuje skladen račun.

Kdo je prizadet

Prva prizadeta skupina so razvijalci agentov, ki želijo izvajanje kode, ne da bi se zavezali k polni agentski platformi enega ponudnika modela. Pristop OpenRouterja bo morda všeč ekipam, ki že usmerjajo promet med modeli in želijo dodati lupinski dostop, hkrati pa ohraniti nekaj prilagodljivosti pri izbiri modela.

Druga skupina so ekipe platforme in prehoda. Zdaj se morajo odločiti, ali so gostujoča orodja prvovrstni kataloški elementi, ali jih je mogoče omogočiti na delovni prostor in kako so njihovi stroški prikazani na nadzornih ploščah. Vrstico kataloga modelov bo morda treba združiti z razpoložljivostjo orodja, omejitvami časa izvajanja in opombami o združljivosti. Nadzor dostopa bo morda moral razlikovati med dovoljevanjem klica modela in dovoljevanjem, da ta klic zažene vsebnik.

Tretja skupina so finančne in operativne ekipe, ki upravljajo porabo umetne inteligence. Analitika uporabe, ki se ustavi pri žetonih, bo zamudila rastoči razred stroškov infrastrukture agentov. Uporabna Nadzorna plošča za analitiko uporabe API-ja AI bi morala pokazati, ali je do skoka prišlo zaradi izbire modela, količine žetona, izvajalnega časa peskovnika ali spremembe zasnove delovnega toka, ki je povzročila dodatne klice orodja.

Kaj ostaja negotovo

Beta pušča odprtih več praktičnih vprašanj. OpenRouter pravi, da je uporaba API-ja za datoteke vključena v orodje lupine med različico beta, vendar so lahko dolgoročne cene datotek, pravila hrambe in operativne omejitve še vedno pomembni za proizvodne delovne obremenitve. Razvijalci bodo morali tudi preizkusiti, kateri modeli delujejo zanesljivo z orodjem lupine na podprtih poteh združljivosti API.

Varnost je še eno nerazrešeno vprašanje implementacije za kupce. OpenRouter opisuje, da se ukazi izvajajo v izoliranih gostujočih vsebnikih Linuxa, vendar bodo podjetja še vedno vprašala o omrežnem dostopu, namestitvi paketa, obstojnosti datotek, revizijskih dnevnikih in ravnanju s podatki, preden pošljejo občutljive delovne obremenitve prek gostujočega izvajalnega okolja.

Širša usmeritev pa je jasna: prehodi absorbirajo več izvajalnega časa agenta. Usmerjanje modela je včasih pomenilo izbiro, kam je bil poslan poziv. Zdaj vedno bolj vključuje semantiko orodja, stanje datoteke, politiko izvajanja in merjenje brez žetonov. OpenRouterjeva lupina beta je koristen označevalec, ker pripisuje jasno ceno zmogljivosti, ki jo mnogi ustvarjalci agentov obravnavajo kot infrastrukturo v ozadju. Ko se čas izvedbe pojavi na računu, postane del arhitekture izdelka.