OpenRouter on lisanud beetaversiooni hostitud kesta täitmistööriista ja failide API, mis annab arendajatele võimaluse lasta tööriista kutsuvatel mudelitel käitada käske isoleeritud Linuxi konteinerites OpenRouteri marsruutimiskihi kaudu. Väljalase on midagi enamat kui teine ​​​​agendi funktsioon. See muudab mitme mudeliga tehisintellekti infrastruktuuri arvestusmudelit: päring võib nüüd sisaldada mudelimärke, tööriista täitmisaega, failikäsitlust ja ühilduvuskäitumist rohkem kui ühe API stiili puhul.

Uus serveritööriist nimega openrouter:shell võimaldab toetatud mudelitel käivitada hostitud konteinerites käske ja tagastada standardseid täitmistulemusi, sealhulgas stdout-, stderr- ja väljumiskoode. OpenRouter ütleb, et tööriist töötab selle Responses API tee ja Anthropic Messages API ühilduvustee kaudu, mis on oluline, sest arendajad püüavad üha enam hoida agentide juurutamist mudelipakkujate vahel kaasaskantavana, selle asemel, et siduda iga töövoo ühe müüja oma tööriistaliidesega.

OpenRouter hindab liivakasti 0,0001 dollarit sekundis, arve osana taotlusest. Failide API kasutamine on beetaversiooni ajal kaasatud. See loob tavalistest sisend- ja väljundlubadest eraldi kuludimensiooni ning annab lüüsioperaatoritele konkreetse näite selle kohta, miks ühtse AI API arveldamine on muutumas keerulisemaks kui mudeli loa tasude summeerimine.

Mis muutus

Kuni viimase ajani oli hostitud koodi täitmine tavaliselt seotud pakkujaspetsiifilise agendipinuga või nõudis arendajatelt oma liivakastiparki. OpenRouteri beetaversioon lisab selle võimaluse marsruutimisplatvormi, mida on juba kasutatud paljudele mudelitele juurdepääsuks. Praktiliselt võib agent paluda mudelil andmeid kontrollida, skripte käivitada, faile manipuleerida või väikseid kooditükke testida, ilma et rakendusmeeskond varustab iga käitamise jaoks konteinereid otse.

Ühilduvuse üksikasjad on olulised. OpenRouter positsioneerib kestatööriista mitte ühe mudeliperekonna võimalusena, vaid platvormi tasemel tööriistapinnana, mis on saadaval tuttavate API mustrite kaudu. Meeskondade jaoks, kes on loonud OpenAI-stiilis vastuste semantika või antroopilises stiilis sõnumite semantika, võib hostitud tööriist asuda lähemal lüüsikihile kui mudelikihile.

See ei muuda tööriista käitumist maagiliselt ühtlaseks. Erinevad mudelid erinevad tööriistade kutsumise, tõrgetest taastumise, käsuväljundi põhjuste ja failide haldamise poolest. Kuid infrastruktuuriotsus on muutumas. Selle asemel, et küsida ainult seda, milline mudel suudab shellikäsku kirjutada, peavad arendajad nüüd küsima, milline lüüs suudab seda turvaliselt käivitada, mõõta ja tagastada tulemused API-kujul, millest nende klient juba aru saab.

Miks on käitusaja mõõtmine oluline

Token-hinnast ei piisa enam agenditaotluse maksumuse kirjeldamiseks. Üks kasutaja toiming võib hõlmata viipa, mitut mudeli pööret, failide üleslaadimist, kesta täitmist, korduskatseid ja lõplikku kokkuvõtet. Kallis osa võib olla mudeli väljund või pikaajaline käsk, mis toodab vähe teksti. OpenRouteri liivakasti sekundi hind muudab selle eristuse selgeks.

Arendajate jaoks on selle vahetu tagajärg eelarve kujundamine. Agendi tsüklid vajavad käsu kestuse, uuesti proovimise käitumise ja failide säilitamise eelduste piiranguid. Kahjutu välimusega päring, mis laieneb korduvateks shell-kõnedeks, võib koguda käitusaegseid tasusid isegi siis, kui märgikasutus jääb tagasihoidlikuks. Logimine peab näitama mitte ainult mudelite, pakkujate ja lubade arvu, vaid ka tööriista nime, täitmise kestust, väljumisolekut ja seda, kas mudel proovis pärast viga uuesti.

Mudellüüsidele tuginevate ettevõtete puhul puudutab muudatus marginaale ja klientide aruandlust. Tehisintellekti automatiseerimist edasi müüv partnertoode ei saa käsitleda iga taotlust märgistusega teksti lõpetamisena. See vajab kasutusraamatut, mis suudab omistada mudeli maksumuse ja hostitud tööriista maksumuse õigele tööruumile, lõppkliendile või API-võtmele. See on otseselt seotud partner API automatiseerimisega, kus alljärgnev klient ei pruugi kunagi näha OpenRouteri töötlemata arvet, kuid ootab siiski ühtset arvet.

Keda see mõjutab

Esimene mõjutatud rühm on agentide arendajad, kes soovivad koodi käivitada ilma ühe mudeli pakkuja täielikule agendiplatvormile pühendumata. OpenRouteri lähenemine võib meeldida meeskondadele, kes juba suunavad liiklust mudelite vahel ja soovivad lisada shell-juurdepääsu, säilitades samal ajal mudelivaliku paindlikkuse.

Teine rühm on platvormide ja lüüside meeskonnad. Nüüd peavad nad otsustama, kas hostitud tööriistad on esmaklassilised kataloogiüksused, kas neid saab iga tööruumi kohta lubada ja kuidas nende kulud armatuurlaudadel kuvatakse. Mudelikataloogi rida võib olla vaja siduda tööriista saadavuse, käitusaja piirangute ja ühilduvusmärkustega. Juurdepääsukontrollil võib olla vaja teha vahet mudelikõne lubamisel ja sellel kõnel konteineri käivitamise lubamisel.

Kolmas rühm on finants- ja operatsioonimeeskonnad, kes haldavad tehisintellekti kulutusi. Kasutusanalüütika, mis peatub žetoonidel, jätab tähelepanuta kasvavad agendi infrastruktuuri kulud. Kasulik AI API kasutusanalüüsi juhtpaneel peaks näitama, kas hüppeline tõus tulenes mudeli valikust, loa mahust, liivakasti käitusajast või töövoo kujunduse muudatusest, mis põhjustas täiendavaid tööriistakutseid.

Mis jääb ebaselgeks

Beetaversioon jätab lahtiseks mitu praktilist küsimust. OpenRouter ütleb, et Files API kasutamine on beetaversiooni ajal kestatööriistaga kaasas, kuid pikaajalised failihinnad, säilitusreeglid ja tööpiirangud võivad tootmiskoormuse puhul siiski olla olulised. Arendajad peavad ka testima, millised mudelid töötavad shellitööriistaga toetatud API ühilduvusteedel usaldusväärselt.

Turvalisus on ostjate jaoks veel üks lahendamata rakendusküsimus. OpenRouter kirjeldab, et käsud töötavad isoleeritud hostitud Linuxi konteinerites, kuid ettevõtted küsivad siiski enne tundlike töökoormuste saatmist hostitud täitmiskeskkonna kaudu võrgule juurdepääsu, pakettide installimise, failide püsivuse, auditilogide ja andmetöötluse kohta.

Laiem suund on siiski selge: lüüsid neelavad suurema osa agendi käitusajast. Mudelmarsruutimine tähendas varem viipa saatmise koha valimist. Nüüd hõlmab see üha enam tööriista semantikat, faili olekut, täitmispoliitikat ja ilma märgita mõõtmist. OpenRouteri kesta beetaversioon on kasulik marker, kuna see annab selge hinna võimalusele, mida paljud agentide koostajad on käsitlenud taustainfrastruktuurina. Kui arvel kuvatakse täitmisaeg, muutub see tootearhitektuuri osaks.