Mistral rozwija Studio z obszaru roboczego do budowania modeli w środowisko wykonawcze agentów. W ogłoszeniu z 5 listopada firma wprowadziła zarządzanych agentów w publicznej wersji zapoznawczej wraz z trwałą realizacją przepływu pracy, HTTP konektorami, webhookami, narzędziami do śledzenia i oceny.
Ta zmiana ma znaczenie, ponieważ agent, który działa godzinami, wstrzymuje się do zatwierdzenia lub wznawia po awarii, tworzy inny problem z infrastrukturą niż synchroniczne żądanie czatu. Zespoły muszą teraz uwzględniać stan wykonania, wywołania narzędzi, dane uwierzytelniające, ponowne próby i decyzje ludzkie wraz z tokenami modelu.
Zarządzani agenci są projektowani tak, aby przetrwać
Mistral twierdzi, że programiści mogą raz zdefiniować agenta i uruchomić go lokalnie, w środowisku hostowanym samodzielnie lub poprzez wdrożenie zarządzane przez Mistral. Zarządzane wykonania mogą trwać godzinami lub dniami, być wznawiane po awarii i wstrzymywane w oczekiwaniu na zatwierdzenie przez człowieka.
To sprawia, że zapis wykonania jest równie ważny jak ostateczna odpowiedź. System produkcyjny musi wiedzieć, który użytkownik lub usługa zainicjowała zadanie, jaki model wykonał każdy krok, jakie narzędzia zostały wywołane, jakie zezwolenie zostało wydane i czy ponowna próba generowała dodatkowe koszty dostawcy. Pojedynczy identyfikator żądania raczej nie wystarczy, gdy jedno zadanie obejmuje wiele operacji na modelach i narzędziach.
W przypadku zespołów obsługujących wielomodelową API bramę dla zespołów tworzy to szerszą powierzchnię routingu. W zasadach routingu może być konieczne rozważenie, czy zadanie jest interaktywne lub trwałe, czy może poczekać na tańszy model i czy konkretny dostawca obsługuje wymagane narzędzia, region lub czas trwania wykonania.
HTTP łączniki poszerzają granicę integracji
W tej wersji dodano także HTTP API łączniki, które nie wymagają serwera MCP. Mistral opisuje te konektory jako część systemu przepływu pracy, który może generować przepływy pracy na podstawie instrukcji w języku naturalnym, wywoływać usługi zewnętrzne i używać webhooków do łączenia zdarzeń wykonawczych z innymi systemami.
Jest to przydatne w organizacjach, których wewnętrzne narzędzia udostępniają konwencjonalne punkty końcowe REST zamiast MCP interfejsów. Zwiększa to także obciążenie związane z bezpieczeństwem i operacjami. Poświadczenia łącznika wymagają izolacji dzierżawców, kontrolowanych zakresów, rotacji i ścieżek audytu. Ponowne próby muszą odróżniać bezpieczne powtórzenie od zduplikowanego efektu ubocznego, zwłaszcza gdy przepływ pracy może zostać wznowiony po przerwaniu.
Webhooki wprowadzają kolejny kontrakt operacyjny. Odbiorcy potrzebują uwierzytelniania, ochrony przed ponownym odtwarzaniem, zasad porządkowania zdarzeń i sposobu na pogodzenie nieodebranych powiadomień z autorytatywnym stanem wykonania. Wymagania te odnoszą się bezpośrednio do platformy resellerskiej AI API, która udostępnia zadania agenta wielu klientom: klient powinien widzieć tylko swoje własne zdarzenia, podczas gdy platforma musi nadal zachować wystarczająco dużo szczegółów, aby zbadać awarie i pogodzić wykorzystanie.
Ocena staje się częścią środowiska wykonawczego
Mistral dodaje funkcje śledzenia oraz oceny online i offline do tej samej powierzchni Studio. Praktyczne znaczenie jest takie, że zespoły mogą ocenić więcej niż tylko tekst zwrócony przez model. Mogą sprawdzać wybór narzędzi, etapy pośrednie, zakończenie przepływu pracy i wpływ punktów kontrolnych zatwierdzanych przez ludzi.
Może to skłonić bramy i sprzedawców do rozliczania na poziomie obciążenia pracą. Wnioskowanie o modelu, wywoływanie narzędzi zewnętrznych, środowisko wykonawcze przepływu pracy i hostowana orkiestracja mogą wymagać oddzielnych wymiarów użycia, nawet jeśli klient widzi jeden punkt końcowy agenta. Rekord rozliczeniowy zawierający tylko tokeny wejściowe i wyjściowe nie wyjaśni w pełni kosztów długotrwałego zadania.
Rodzi to również pytanie dotyczące zarządzania: ślady oceny mogą zawierać podpowiedzi, pobrane dane, argumenty narzędzi i dane wyjściowe z połączonych systemów. Organizacje będą potrzebować zasad przechowywania i dostępu obejmujących śledzenie, a nie tylko ostateczną odpowiedź.W przypadku Model Gate odpowiednią granicą produktu jest połączenie routingu uwzględniającego najemców, pomiaru wykorzystania klientów i trwałych zapisów wykonania, a nie prostego serwera proxy dla żądań modelu.
Co pozostaje niejasne
W sprawdzanych ogłoszeniach firma Mistral nie ustanowiła gwarancji poziomu usług na poziomie produkcyjnym dla długoterminowych zarządzanych wykonań. Nie określono również cen ani szczegółowych limitów przydziału funkcji agenta zarządzanego. Od tych szczegółów zależy, czy usługa będzie odpowiednia do zadań produkcyjnych bez nadzoru, czy przede wszystkim do zastosowań programistycznych i pilotażowych.
Dostępność w różnych trybach wdrażania to kolejna otwarta kwestia. Jednorazowe zdefiniowanie agenta i uruchomienie go lokalnie, na własnym serwerze lub poprzez infrastrukturę zarządzaną przez Mistral jest atrakcyjne, ale zgodność może zależeć od złączy, poświadczeń, stanu środowiska wykonawczego i funkcji ewaluacyjnych. Deweloperzy powinni przetestować odzyskiwanie po awarii, przerwy w zatwierdzaniu, dostarczanie elementu webhook i zachowanie rozliczeń, zanim potraktują środowiska jako wymienne.