Mistral širi Studio iz delovnega prostora za izdelavo modelov v izvajalno okolje agenta. V objavi 5. novembra je podjetje predstavilo upravljane agente v javnem predogledu, skupaj s trajnim izvajanjem delovnega toka, HTTP konektorji, spletnimi kljukicami, orodji za sledenje in vrednotenje.

Premik je pomemben, ker agent, ki deluje več ur, se začasno ustavi za odobritev ali nadaljuje po zrušitvi, ustvari drugačno infrastrukturno težavo kot zahteva za sinhroni klepet. Ekipe morajo zdaj poleg žetonov modela upoštevati tudi stanje izvajanja, klice orodij, poverilnice, ponovne poskuse in človeške odločitve.

Upravljani agenti so zasnovani tako, da vztrajajo

Mistral pravi, da lahko razvijalci enkrat definirajo agenta in ga zaženejo lokalno, v okolju, ki ga sami gostijo, ali prek uvedbe, ki jo upravlja Mistral. Upravljane izvedbe se lahko nadaljujejo več ur ali dni, se nadaljujejo po zrušitvi in ​​ustavijo med čakanjem na človeško odobritev.

Zaradi tega je zapis o izvajanju enako pomemben kot končni odgovor. Produkcijski sistem mora vedeti, kateri uporabnik ali storitev je sprožil opravilo, kateri model je obravnaval vsak korak, katera orodja so bila poklicana, kakšna odobritev je bila podeljena in ali je ponovni poskus povzročil dodatne stroške ponudnika. En sam ID zahteve verjetno ne bo zadostoval, ko se eno opravilo razširi na več operacij modelov in orodij.

Za ekipe, ki uporabljajo večmodel API prehod za ekipe, to ustvari širšo površino usmerjanja. Politika usmerjanja bo morda morala upoštevati, ali je naloga interaktivna ali trajna, ali lahko počaka na cenejši model in ali določen ponudnik podpira zahtevana orodja, regijo ali življenjsko dobo izvajanja.

HTTP konektorji širijo mejo integracije

Izdaja dodaja tudi HTTP API konektorje, ki ne potrebujejo MCP strežnika. Mistral opisuje te konektorje kot del sistema poteka dela, ki lahko generira tokove dela iz navodil v naravnem jeziku, kliče zunanje storitve in uporablja spletne kljuke za povezovanje dogodkov izvajanja z drugimi sistemi.

To je uporabno za organizacije, katerih notranja orodja izpostavljajo običajne končne točke REST namesto MCP vmesnikov. Povečuje tudi varnost in operativno breme. Poverilnice konektorja potrebujejo izolacijo najemnika, nadzorovane obsege, rotacijo in revizijske sledi. Ponovni poskusi morajo razlikovati med varno ponovitvijo in podvojenim stranskim učinkom, še posebej, če se potek dela po prekinitvi lahko nadaljuje.

Webhooki uvajajo drugo operativno pogodbo. Prejemniki potrebujejo avtentikacijo, zaščito pred ponovnim predvajanjem, pravila za razvrščanje dogodkov in način za uskladitev zgrešenih obvestil z avtoritativnim stanjem izvajanja. Te zahteve so neposredno pomembne za AI API platformo preprodajalcev, ki izpostavlja opravila agentov več strankam: stranka bi morala videti samo svoje dogodke, medtem ko mora platforma še vedno ohraniti dovolj podrobnosti za raziskovanje napak in uskladitev uporabe.

Ocenjevanje postane del izvajalnega okolja

Mistral dodaja funkcije sledenja ter spletnega in nespletnega vrednotenja na isto površino Studia. Praktični pomen je, da lahko ekipe ocenijo več kot besedilo, ki ga vrne model. Pregledujejo lahko izbiro orodij, vmesne korake, dokončanje delovnega toka in učinek kontrolnih točk odobritve ljudi.

To lahko potiska prehode in prodajalce k računovodstvu na ravni delovne obremenitve. Sklepanje modela, klici zunanjih orodij, čas izvajanja delovnega toka in gostujoča orkestracija morda potrebujejo ločene dimenzije uporabe, tudi če stranka vidi eno končno točko agenta. Zapis zaračunavanja, ki vsebuje samo vhodne in izhodne žetone, ne bo v celoti razložil stroškov dolgotrajnega opravila.

Poraja tudi vprašanje upravljanja: sledi vrednotenja lahko vsebujejo pozive, pridobljene podatke, argumente orodja in izhode iz povezanih sistemov. Organizacije bodo potrebovale politike hrambe in dostopa, ki bodo zajemale sledenje, ne le končnega odgovora.Za Model Gate je ustrezna meja izdelka kombinacija usmerjanja, ki se zaveda najemnika, merjenja uporabe strank in trajnih zapisov o izvajanju, namesto preprostega približka za zahteve po modelu.

Kaj ostaja nejasno

Mistral v pregledanih objavah ni vzpostavil garancij na ravni storitev na ravni proizvodnje za dolgotrajno upravljano izvajanje. Prav tako niso bile opredeljene cene in podrobne omejitve kvot za funkcije upravljanega agenta. Te podrobnosti bodo določile, ali je storitev primerna za nenadzorovane proizvodne delovne obremenitve ali predvsem za razvoj in nadzorovane pilote.

Razpoložljivost med načini uvajanja je drugo odprto vprašanje. Enkratno definiranje agenta in njegovo izvajanje lokalno, samostojno ali prek infrastrukture, ki jo upravlja Mistral, je privlačno, vendar je združljivost lahko odvisna od konektorjev, poverilnic, stanja izvajalnega časa in funkcij vrednotenja. Razvijalci bi morali preizkusiti odpravo napak, prekinitve odobritve, dostavo webhooka in vedenje računovodstva, preden okolja obravnavajo kot zamenljiva.