Mistral разширява Studio от работно пространство за изграждане на модели в среда за изпълнение на агент. В съобщение от 5 ноември компанията представи управлявани агенти в публичен преглед, заедно с трайно изпълнение на работния процес, HTTP конектори, уеб кукички, инструменти за проследяване и оценка.
Промяната има значение, защото агент, който работи с часове, паузи за одобрение или възобновява след срив, създава различен инфраструктурен проблем от заявка за синхронен чат. Екипите вече трябва да отчитат състоянието на изпълнение, извикванията на инструменти, идентификационните данни, повторните опити и човешките решения заедно с токените на модела.
Управляваните агенти са проектирани да продължават да съществуват
Mistral казва, че разработчиците могат да дефинират агент веднъж и да го изпълняват локално, в самостоятелно хоствана среда или чрез управлявано от Mistral внедряване. Управляваните изпълнения могат да продължат с часове или дни, да се възобновят след срив и на пауза, докато се чака одобрение от човек.
Това прави записа за изпълнение също толкова важен, колкото и крайния отговор. Една производствена система трябва да знае кой потребител или услуга е инициирал задание, кой модел е обработил всяка стъпка, кои инструменти са били извикани, какво одобрение е било дадено и дали повторният опит е довел до допълнителни разходи на доставчика. Един идентификатор на заявка едва ли ще бъде достатъчен, след като едно задание се разпръсне в множество операции с модели и инструменти.
За екипи, работещи с мултимоделен API шлюз за екипи, това създава по-широка повърхност за маршрутизиране. Правилата за маршрутизиране може да трябва да обмислят дали дадена задача е интерактивна или издръжлива, дали може да изчака модел с по-ниска цена и дали конкретен доставчик поддържа необходимите инструменти, регион или продължителност на изпълнение.
HTTP конекторите разширяват границата на интеграция
Изданието също така добавя HTTP API конектори, които не изискват MCP сървър. Mistral описва тези конектори като част от система за работен поток, която може да генерира работни потоци от инструкции на естествен език, да извиква външни услуги и да използва уеб кукички за свързване на събития за изпълнение с други системи.
Това е полезно за организации, чиито вътрешни инструменти разкриват конвенционални REST крайни точки, а не MCP интерфейси. Това също така увеличава тежестта на сигурността и операциите. Идентификационните данни на конектора се нуждаят от изолация на клиента, контролирани обхвати, ротация и одитни пътеки. Повторните опити трябва да разграничават безопасното повторение от дублиращия се страничен ефект, особено когато работният поток може да се възобнови след прекъсване.
Уебкуките въвеждат друг оперативен договор. Получателите се нуждаят от удостоверяване, защита от повторно възпроизвеждане, правила за подреждане на събития и начин за съгласуване на пропуснатите известия с авторитетното състояние на изпълнение. Тези изисквания са пряко свързани с AI API платформа за дистрибутори, която излага задачи на агенти на множество клиенти: клиентът трябва да вижда само своите собствени събития, докато платформата все още трябва да запазва достатъчно подробности, за да проучи неуспехите и да съгласува използването.
Оценяването става част от времето за изпълнение
Mistral добавя функции за проследяване и онлайн и офлайн оценка към същата повърхност на Studio. Практическото значение е, че екипите могат да оценят повече от текста, върнат от модел. Те могат да инспектират избора на инструменти, междинните стъпки, завършването на работния процес и ефекта от контролните точки за одобрение от човека.
Това може да тласне порталите и дистрибуторите към отчитане на ниво работно натоварване. Изводът на модела, извикванията на външни инструменти, времето за изпълнение на работния поток и хостваната оркестрация може да се нуждаят от отделни измерения за използване дори когато клиентът вижда една крайна точка на агент. Запис за фактуриране, който съдържа само входни и изходни токени, няма да обясни напълно цената на дълготрайна работа.
Той също повдига въпрос за управлението: следите за оценка могат да съдържат подкани, извлечени данни, аргументи на инструмента и изходи от свързани системи. Организациите ще се нуждаят от политики за задържане и достъп, които обхващат проследяването, а не само крайния отговор.За Model Gate съответната продуктова граница е комбинацията от маршрутизиране, съобразено с наемателя, измерване на използването на клиентите и трайни записи за изпълнение, а не просто прокси за заявки за модели.
Какво остава неясно
Mistral не е установил гаранции за ниво на обслужване от производствен клас за дълготрайни управлявани изпълнения в прегледаните съобщения. Ценообразуването и подробните ограничения на квотите за функциите на управляван агент също не бяха идентифицирани. Тези подробности ще определят дали услугата е подходяща за необслужвани производствени натоварвания или предимно за разработка и контролирани пилоти.
Наличността в различните режими на внедряване е друг отворен въпрос. Дефинирането на агент веднъж и стартирането му локално, самостоятелно хоствано или чрез управлявана от Mistral инфраструктура е привлекателно, но съвместимостта може да зависи от конектори, идентификационни данни, състояние на изпълнение и функции за оценка. Разработчиците трябва да тестват възстановяването при повреда, паузите на одобрението, доставката на webhook и поведението на отчитане, преди да третират средите като взаимозаменяеми.