Mistral proširuje Studio iz radnog prostora za izradu modela u runtime agenta. U objavi od 5. studenog tvrtka je predstavila upravljane agente u javnom pregledu, uz trajno izvršavanje tijeka rada, HTTP konektore, web-dojavnike, alate za praćenje i procjenu.
Promjena je važna jer agent koji radi satima, pauzira radi odobrenja ili nastavlja nakon pada stvara infrastrukturni problem drugačiji od zahtjeva za sinkroni chat. Timovi sada moraju uzeti u obzir stanje izvršenja, pozive alata, vjerodajnice, ponovne pokušaje i ljudske odluke uz tokene modela.
Upravljani agenti dizajnirani su da traju
Mistral kaže da programeri mogu definirati agenta jednom i pokrenuti ga lokalno, u okruženju koje se samostalno hostira ili putem implementacije kojom upravlja Mistral. Upravljana izvršenja mogu se nastaviti satima ili danima, nastaviti nakon pada i pauzirati dok se čeka ljudsko odobrenje.
To čini zapis o izvršenju jednako važnim kao i konačni odgovor. Proizvodni sustav mora znati koji je korisnik ili usluga pokrenula posao, koji je model obradio svaki korak, koji su alati pozvani, koje je odobrenje dano i je li ponovni pokušaj proizveo dodatne troškove pružatelja. Malo je vjerojatno da će jedan ID zahtjeva biti dovoljan kada se jedan posao raširi na više modela i operacija alata.
Za timove koji koriste višemodelni API pristupnik za timove, ovo stvara širu površinu usmjeravanja. Politika usmjeravanja možda će morati razmotriti je li zadatak interaktivan ili trajan, može li čekati jeftiniji model i podržava li određeni pružatelj tražene alate, regiju ili vijek trajanja.
HTTP konektori proširuju granicu integracije
Izdanje također dodaje HTTP API konektore koji ne zahtijevaju MCP poslužitelj. Mistral opisuje ove konektore kao dio sustava tijeka rada koji može generirati tijekove rada iz uputa na prirodnom jeziku, pozivati vanjske usluge i koristiti web-dojavnike za povezivanje događaja izvršenja s drugim sustavima.
To je korisno za organizacije čiji interni alati izlažu konvencionalne REST krajnje točke umjesto MCP sučelja. Također povećava teret sigurnosti i operacija. Vjerodajnice konektora zahtijevaju izolaciju stanara, kontrolirane opsege, rotaciju i revizijske tragove. Ponovni pokušaji moraju razlikovati sigurno ponavljanje od dvostruke nuspojave, posebno kada se tijek rada može nastaviti nakon prekida.
Web-dojavnici uvode još jedan operativni ugovor. Primatelji trebaju autentifikaciju, zaštitu od ponovne reprodukcije, pravila za redoslijed događaja i način za usklađivanje propuštenih obavijesti s autoritativnim stanjem izvršenja. Ti su zahtjevi izravno relevantni za AI API platformu preprodavača koja izlaže poslove agenta većem broju klijenata: korisnik bi trebao vidjeti samo svoje vlastite događaje, dok platforma i dalje mora zadržati dovoljno detalja za istraživanje kvarova i usklađivanje upotrebe.
Procjena postaje dio vremena izvođenja
Mistral dodaje značajke praćenja te online i offline evaluacije na istu površinu Studija. Praktični značaj je da timovi mogu procijeniti više od teksta koji vraća model. Oni mogu pregledati odabir alata, međukorake, završetak tijeka rada i učinak kontrolnih točaka odobrenja od strane ljudi.
To može gurnuti pristupnike i preprodavače prema računovodstvu na razini radnog opterećenja. Zaključivanje modela, pozivi vanjskih alata, vrijeme izvođenja tijeka rada i hostirana orkestracija mogu zahtijevati zasebne dimenzije upotrebe čak i kada korisnik vidi jednu krajnju točku agenta. Zapis o naplati koji sadrži samo ulazne i izlazne tokene neće u potpunosti objasniti trošak dugotrajnog posla.
Također postavlja pitanje upravljanja: tragovi procjene mogu sadržavati upite, dohvaćene podatke, argumente alata i izlaze iz povezanih sustava. Organizacije će trebati politike zadržavanja i pristupa koje pokrivaju praćenje, a ne samo konačni odgovor.Za Model Gate, relevantna granica proizvoda kombinacija je usmjeravanja svjesnog stanara, mjerenja korištenja korisnika i trajnih zapisa o izvršenju, a ne jednostavnog proxyja za zahtjeve modela.
Ono što ostaje nejasno
Mistral nije uspostavio jamstva razine usluge proizvodne razine za dugotrajna upravljana izvršenja u pregledanim najavama. Cijene i detaljna ograničenja kvota za značajke upravljanog agenta također nisu identificirani. Ti će detalji odrediti je li usluga prikladna za nenadzirana radna opterećenja proizvodnje ili prvenstveno za razvoj i kontrolirane pilote.
Dostupnost u svim načinima implementacije još je jedno otvoreno pitanje. Jednom definirati agenta i pokrenuti ga lokalno, samostalno ili putem infrastrukture kojom upravlja Mistral je privlačno, ali kompatibilnost može ovisiti o konektorima, vjerodajnicama, stanju vremena izvođenja i značajkama procjene. Razvojni programeri trebali bi testirati oporavak od kvara, pauze odobrenja, isporuku web-dojavnika i računovodstveno ponašanje prije nego što okruženja tretiraju kao međusobno zamjenjiva.