Mistral rozšiřuje Studio z pracovního prostoru pro vytváření modelů na běhové prostředí agenta. V oznámení z 5. listopadu společnost představila Managed Agents ve veřejném náhledu spolu s trvalým prováděním pracovních postupů, HTTP konektory, webhooky, nástroji pro sledování a hodnocení.

Na směně záleží, protože agent, který běží několik hodin, pozastaví se kvůli schválení nebo obnoví po selhání, vytváří jiný problém s infrastrukturou než požadavek synchronního chatu. Týmy nyní musí spolu s tokeny modelu zohledňovat stav provádění, volání nástrojů, pověření, opakování a lidská rozhodnutí.

Spravovaní agenti jsou navrženi tak, aby přetrvávali

Vývojáři mohou definovat agenta jednou a spustit ho lokálně, v prostředí s vlastním hostitelem nebo prostřednictvím nasazení spravovaného Mistral. Řízené popravy mohou pokračovat hodiny nebo dny, obnovit se po havárii a pozastavit se při čekání na schválení člověkem.

Proto je záznam provedení stejně důležitý jako konečná odpověď. Produkční systém potřebuje vědět, který uživatel nebo služba zahájila úlohu, který model zpracovával každý krok, které nástroje byly volány, jaké schválení bylo uděleno a zda opakovaný pokus způsobil dodatečné náklady poskytovatele. Jedno ID požadavku pravděpodobně nebude stačit, jakmile se jedna úloha rozšíří do několika operací s modelem a nástrojem.

Pro týmy provozující bránu pro více modelů API pro týmy to vytváří širší směrovací plochu. Zásady směrování možná budou muset zvážit, zda je úloha interaktivní nebo trvalá, zda může čekat na levnější model a zda konkrétní poskytovatel podporuje požadované nástroje, region nebo životnost.

HTTP konektory rozšiřují hranici integrace

Vydání také přidává HTTP API MCP konektory, které nevyžadují server. Mistral popisuje tyto konektory jako součást systému pracovních postupů, které mohou generovat pracovní postupy z instrukcí v přirozeném jazyce, volat externí služby a používat webhooky k připojení událostí spuštění k jiným systémům.

To je užitečné pro organizace, jejichž interní nástroje odhalují konvenční koncové body REST namísto rozhraní MCP. Zvyšuje také bezpečnost a provozní zátěž. Přihlašovací údaje konektoru vyžadují izolaci tenanta, řízené rozsahy, rotaci a auditní záznamy. Opakované pokusy musí rozlišovat bezpečné opakování od duplicitního vedlejšího efektu, zvláště když se pracovní postup může po přerušení obnovit.

Webhooky zavádějí další provozní smlouvu. Přijímače potřebují autentizaci, ochranu proti přehrání, pravidla řazení událostí a způsob, jak sladit zmeškaná oznámení s autoritativním stavem provádění. Tyto požadavky jsou přímo relevantní pro AI API prodejní platformu, která zpřístupňuje úlohy agenta více zákazníkům: zákazník by měl vidět pouze své vlastní události, zatímco platforma musí stále uchovat dostatek podrobností, aby mohla prošetřit selhání a sladit použití.

Vyhodnocení se stává součástí běhového prostředí

Přidání funkcí tracing online Studia a offline testování. Praktický význam spočívá v tom, že týmy mohou posoudit více než text vrácený modelem. Mohou kontrolovat výběr nástrojů, mezikroky, dokončení pracovního postupu a účinek kontrolních bodů lidského schválení.

To může posouvat brány a prodejce k účtování na úrovni pracovní zátěže. Odvození modelu, volání externích nástrojů, běh pracovního postupu a hostovaná orchestrace mohou vyžadovat samostatné dimenze použití, i když zákazník vidí jeden koncový bod agenta. Fakturační záznam, který obsahuje pouze vstupní a výstupní tokeny, plně nevysvětlí cenu dlouhotrvající úlohy.

Vyvstává také otázka týkající se řízení: trasování hodnocení mohou obsahovat výzvy, načtená data, argumenty nástrojů a výstupy z připojených systémů. Organizace budou potřebovat zásady uchovávání a přístupu, které pokryjí sledování, nejen konečnou odpověď.Pro Model Gate je relevantní hranicí produktu kombinace směrování s vědomím nájemce, měření využití zákazníkem a trvalých záznamů o provádění spíše než jednoduchý proxy pro požadavky na model.

Co zůstává nejasné

Mistral v recenzovaných oznámeních nestanovil záruky na úrovni služeb pro dlouhodobou řízenou realizaci. Rovněž nebyly identifikovány ceny a podrobné limity kvót pro funkce řízeného agenta. Tyto podrobnosti určí, zda je služba vhodná pro bezobslužné produkční úlohy nebo primárně pro vývoj a řízené pilotní projekty.

Dostupnost v různých režimech nasazení je další otevřenou otázkou. Jednou definovat agenta a spustit jej lokálně, samostatně hostovaný nebo prostřednictvím infrastruktury spravované Mistral je atraktivní, ale kompatibilita může záviset na konektorech, pověřeních, stavu běhu a funkcích hodnocení. Vývojáři by měli otestovat zotavení po selhání, schvalovací pauzy, doručování webhooku a chování účtování, než budou prostředí považovat za vzájemně zaměnitelná.