OpenRouterov hostirani alat ljuske čini naplatu tijekom izvođenja dijelom usmjeravanja s više modela

OpenRouter je dodao beta hostirani alat za izvršavanje ljuske i Files API, dajući programerima način da dopuste modelima koji pozivaju alate da pokreću naredbe u izoliranim Linux spremnicima kroz OpenRouterov sloj usmjeravanja. Izdanje je više od još jedne značajke agenta. Mijenja računovodstveni model za infrastrukturu umjetne inteligencije s više modela: zahtjev sada može uključivati tokene modela, vrijeme izvršavanja alata, rukovanje datotekama i ponašanje kompatibilnosti u više od jednog stila API-ja.

Novi poslužiteljski alat, nazvan openrouter:shell, omogućuje podržanim modelima izvršavanje naredbi u hostiranim spremnicima i vraćanje standardnih rezultata izvršenja, uključujući stdout, stderr i izlazne kodove. OpenRouter kaže da alat radi kroz svoj Responses API put i njegov Anthropic Messages API put kompatibilnosti, što je važno jer razvojni programeri sve više pokušavaju zadržati implementacije agenata prenosivim među pružateljima modela, umjesto da vežu svaki tijek rada na izvorno sučelje alata jednog dobavljača.

OpenRouter cijeni sandbox od 0,0001 USD po sekundi, naplaćuje se kao dio zahtjeva. Upotreba Files API-ja uključena je tijekom beta verzije. To stvara odvojenu troškovnu dimenziju od uobičajenih ulaznih i izlaznih tokena, a operaterima pristupnika daje konkretan primjer zašto objedinjena AI API naplata postaje teža od zbrajanja troškova tokena modela.

Što se promijenilo

Donedavno je izvršavanje hostiranog koda obično bilo vezano uz hrpu agenata specifičnog za pružatelja usluga ili je od programera zahtijevalo da upravljaju vlastitom flotom sandboxa. Beta verzija OpenRoutera umeće tu mogućnost u platformu za usmjeravanje koja se već koristi za pristup mnogim modelima. U praktičnom smislu, agent može zatražiti od modela da pregleda podatke, pokrene skripte, manipulira datotekama ili testira male dijelove koda bez da aplikacijski tim izravno osigurava spremnike za svako pokretanje.

Pojedinosti o kompatibilnosti su važne. OpenRouter pozicionira shell alat ne kao sposobnost jedne obitelji modela, već kao površinu alata na razini platforme koja je dostupna kroz poznate API obrasce. Za timove koji su izgradili semantiku odgovora u stilu OpenAI ili semantiku poruka u antropskom stilu, hostirani alat može biti bliže sloju pristupnika nego sloju modela.

To ne čini ponašanje alata magično ujednačenim. Različiti modeli razlikuju se u načinu na koji pozivaju alate, oporavljaju se od kvarova, razmišljaju o izlazu naredbi i upravljaju datotekama. Ali odluka o infrastrukturi se mijenja. Umjesto da pitaju samo koji model može napisati naredbu ljuske, programeri sada moraju pitati koji je pristupnik može sigurno izvršiti, mjeriti i vratiti rezultate u API obliku koji njihov klijent već razumije.

Zašto je mjerenje vremena izvođenja važno

Cijena tokena više nije dovoljna da opiše cijenu zahtjeva agenta. Pojedinačna radnja korisnika može uključivati ​​upit, nekoliko okreta modela, učitavanje datoteka, izvršavanje ljuske, ponovne pokušaje i konačno sažimanje. Skupi dio može biti izlaz modela ili može biti dugotrajna naredba koja proizvodi malo teksta. OpenRouterova cijena po sekundi sandboxa čini tu razliku eksplicitnom.

Za programere, neposredna posljedica je dizajn proračuna. Agentske petlje trebaju ograničenja na trajanje naredbe, ponašanje pri ponovnom pokušaju i pretpostavke o zadržavanju datoteka. Zahtjev bezopasnog izgleda koji se proširuje na ponovljene pozive ljuske može akumulirati troškove vremena izvođenja čak i ako je upotreba tokena skromna. Bilježenje mora prikazati ne samo broj modela, pružatelja usluga i tokena, već i naziv alata, trajanje izvršenja, izlazni status i je li model ponovno pokušao nakon pogreške.

Za tvrtke koje grade na vrhu modela pristupnika, promjena se dotiče marži i izvješćivanja korisnika. Partnerski proizvod koji preprodaje AI automatizaciju ne može svaki zahtjev tretirati kao dovršetak teksta s oznakom. Potrebna mu je knjiga korištenja koja može pripisati trošak modela i trošak hostiranog alata pravom radnom prostoru, krajnjem korisniku ili API ključu. To je izravno relevantno za automatizaciju partnerskog API-ja, gdje kupac na nižoj razini možda nikada neće vidjeti neobrađenu fakturu OpenRoutera, ali i dalje očekuje koherentan račun.

Tko je pogođen

Prva pogođena skupina su programeri agenata koji žele izvršavanje koda bez obvezivanja na punu agentsku platformu jednog pružatelja modela. Pristup OpenRoutera mogao bi se svidjeti timovima koji već usmjeravaju promet preko modela i žele dodati pristup ljusci uz očuvanje određene fleksibilnosti u izboru modela.

Druga grupa su timovi platformi i pristupnika. Sada moraju odlučiti jesu li hostirani alati prvoklasne kataloške stavke, mogu li se omogućiti po radnom prostoru i kako se njihovi troškovi prikazuju na nadzornim pločama. Redak kataloga modela možda će trebati upariti s dostupnošću alata, ograničenjima vremena izvođenja i bilješkama o kompatibilnosti. Kontrola pristupa možda će morati razlikovati između dopuštanja poziva modela i dopuštanja da taj poziv pokrene spremnik.

Treća skupina su timovi za financije i operacije koji upravljaju potrošnjom AI-ja. Analitika upotrebe koja se zaustavlja na tokenima propustit će rastuću klasu troškova infrastrukture agenta. Korisna Nadzorna ploča za analizu upotrebe AI API-ja trebala bi pokazati je li do skoka došlo zbog izbora modela, količine tokena, vremena izvođenja sandboxa ili promjene dizajna tijeka rada koja je uzrokovala dodatne pozive alata.

Ono što ostaje neizvjesno

Beta ostavlja nekoliko praktičnih pitanja otvorenima. OpenRouter kaže da je korištenje Files API-ja uključeno u alat ljuske tijekom beta verzije, ali dugoročne cijene datoteka, pravila zadržavanja i operativna ograničenja još uvijek mogu biti važni za proizvodna radna opterećenja. Programeri će također morati testirati koji modeli rade pouzdano s alatom ljuske na podržanim stazama kompatibilnosti API-ja.

Sigurnost je još jedno neriješeno pitanje implementacije za kupce. OpenRouter opisuje da se naredbe izvode u izoliranim hostiranim Linux spremnicima, ali poduzeća će i dalje pitati o mrežnom pristupu, instalaciji paketa, postojanosti datoteka, revizijskim zapisnicima i rukovanju podacima prije slanja osjetljivih radnih opterećenja kroz hostirano izvršno okruženje.

Širi smjer je ipak jasan: pristupnici apsorbiraju više vremena izvršavanja agenta. Usmjeravanje modela prije je značilo odabir mjesta slanja upita. Sada sve više uključuje semantiku alata, stanje datoteke, politiku izvršavanja i mjerenje bez tokena. Beta verzija ljuske OpenRoutera koristan je marker jer pridaje jasnu cijenu sposobnosti koju su mnogi graditelji agenata smatrali pozadinskom infrastrukturom. Nakon što se vrijeme izvršenja pojavi na računu, ono postaje dio arhitekture proizvoda.