Mistral rozširuje Studio z pracovného priestoru na vytváranie modelov na prostredie spustenia agenta. V oznámení z 5. novembra spoločnosť predstavila Managed Agents vo verejnej ukážke spolu s trvalým vykonávaním pracovného toku, HTTP konektormi, webhookmi, nástrojmi na sledovanie a hodnotenie.

Na zmene záleží, pretože agent, ktorý beží niekoľko hodín, pozastaví sa na schválenie alebo obnoví po zlyhaní, vytvára iný problém s infraštruktúrou ako žiadosť o synchrónny rozhovor. Tímy teraz musia počítať so stavom vykonávania, volaniami nástrojov, povereniami, opakovanými pokusmi a ľudskými rozhodnutiami spolu s tokenmi modelu.

Spravovaní agenti sú navrhnutí tak, aby pretrvávali

Vývojári môžu definovať agenta raz a spustiť ho lokálne, v prostredí s vlastným hosťovaním alebo prostredníctvom nasadenia riadeného Mistralom. Riadené popravy môžu pokračovať hodiny alebo dni, pokračovať po zlyhaní a pozastaviť sa pri čakaní na schválenie človekom.

Záznam vykonania je preto rovnako dôležitý ako konečná odpoveď. Produkčný systém potrebuje vedieť, ktorý používateľ alebo služba iniciovala úlohu, ktorý model spracoval každý krok, ktoré nástroje boli vyvolané, aké schválenie bolo udelené a či opakovaný pokus spôsobil dodatočné náklady poskytovateľa. Jedno ID žiadosti pravdepodobne nebude stačiť, keď sa jedna úloha rozšíri do viacerých operácií s modelmi a nástrojmi.

Pre tímy prevádzkujúce multimodelovú API bránu pre tímy to vytvára širšiu plochu smerovania. Politika smerovania môže potrebovať zvážiť, či je úloha interaktívna alebo trvácna, či môže čakať na lacnejší model a či konkrétny poskytovateľ podporuje požadované nástroje, oblasť alebo životnosť.

HTTP konektory rozširujú hranicu integrácie

Vydanie tiež pridáva HTTP API MCP konektory, ktoré nevyžadujú server. Mistral popisuje tieto konektory ako súčasť systému pracovného toku, ktorý dokáže generovať pracovné toky z pokynov v prirodzenom jazyku, volať externé služby a používať webhooky na pripojenie udalostí vykonávania k iným systémom.

To je užitočné pre organizácie, ktorých interné nástroje odhaľujú konvenčné koncové body REST namiesto MCP rozhraní. Zvyšuje tiež bezpečnosť a prevádzkovú záťaž. Poverenia konektora vyžadujú izoláciu nájomníkov, kontrolované rozsahy, rotáciu a auditné záznamy. Opätovné pokusy musia odlíšiť bezpečné opakovanie od duplicitného vedľajšieho účinku, najmä ak sa pracovný postup môže po prerušení obnoviť.

Webhooky predstavujú ďalšiu prevádzkovú zmluvu. Prijímače potrebujú autentifikáciu, ochranu pred opakovaním, pravidlá pre objednávanie udalostí a spôsob, ako zosúladiť zmeškané oznámenia s autoritatívnym stavom vykonávania. Tieto požiadavky sú priamo relevantné pre AI API platformu predajcu, ktorá odhaľuje úlohy agentov viacerým zákazníkom: zákazník by mal vidieť iba svoje vlastné udalosti, zatiaľ čo platforma si musí stále uchovávať dostatok podrobností na vyšetrenie zlyhaní a zosúladenie používania.

Hodnotenie sa stáva súčasťou runtime

Pridanie funkcií tracingu a online hodnotenia do služby Studio. Praktický význam je v tom, že tímy môžu posúdiť viac ako text vrátený modelom. Môžu kontrolovať výber nástrojov, medzikroky, dokončenie pracovného postupu a účinok kontrolných bodov ľudského schválenia.

To môže posúvať brány a predajcov k účtovaniu na úrovni pracovného zaťaženia. Vyvodenie modelu, externé volania nástrojov, prevádzkové prostredie pracovného toku a hostovaná orchestrácia môžu vyžadovať samostatné dimenzie použitia, aj keď zákazník vidí jeden koncový bod agenta. Fakturačný záznam, ktorý obsahuje iba vstupné a výstupné tokeny, nevysvetlí v plnej miere náklady na dlhotrvajúcu úlohu.

Tiež vyvoláva otázku o riadení: sledovanie hodnotenia môže obsahovať výzvy, načítané údaje, argumenty nástrojov a výstupy z pripojených systémov. Organizácie budú potrebovať politiky uchovávania a prístupu, ktoré pokrývajú sledovanie, nielen konečnú odpoveď.Pre Model Gate je relevantnou hranicou produktu kombinácia smerovania s ohľadom na nájomcu, merania využívania zákazníkov a trvalých záznamov o vykonávaní, a nie jednoduchý proxy pre modelové požiadavky.

Čo zostáva nejasné

Spoločnosť Mistral nestanovila v preverovaných oznámeniach záruky na úrovni služieb na úrovni produkcie pre dlhotrvajúce riadené vykonávanie. Neboli identifikované ani ceny a podrobné limity kvót pre funkcie riadeného agenta. Tieto podrobnosti určia, či je služba vhodná pre produkčné úlohy bez obsluhy alebo primárne pre vývoj a riadené pilotné projekty.

Dostupnosť v rôznych režimoch nasadenia je ďalšou otvorenou otázkou. Jednorazové definovanie agenta a jeho spustenie lokálne, s vlastným hosťovaním alebo prostredníctvom infraštruktúry riadenej Mistral je atraktívne, ale kompatibilita môže závisieť od konektorov, poverení, stavu behu a funkcií hodnotenia. Vývojári by mali otestovať obnovu po zlyhaní, pauzy pri schvaľovaní, doručovanie webhooku a účtovné správanie predtým, ako budú prostredia považovať za vzájomne zameniteľné.