Mistral étend Studio d'un espace de travail de création de modèles à un environnement d'exécution d'agent. Dans une annonce du 5 novembre, la société a présenté les agents gérés en version préliminaire publique, ainsi qu'une exécution de flux de travail durable, HTTP connecteurs, webhooks, outils de traçage et d'évaluation.
Ce changement est important car un agent qui s'exécute pendant des heures, s'arrête pour approbation ou reprend après un crash crée un problème d'infrastructure différent d'une demande de chat synchrone. Les équipes doivent désormais tenir compte de l'état d'exécution, des appels d'outils, des informations d'identification, des tentatives et des décisions humaines ainsi que des jetons de modèle.
Les agents gérés sont conçus pour persister
Mistral indique que les développeurs peuvent définir un agent une seule fois et l'exécuter localement, dans un environnement auto-hébergé ou via un déploiement géré par Mistral. Les exécutions gérées peuvent se poursuivre pendant des heures ou des jours, reprendre après un crash et s'arrêter en attendant l'approbation humaine.
Cela rend l'enregistrement de l'exécution aussi important que la réponse finale. Un système de production doit savoir quel utilisateur ou service a lancé une tâche, quel modèle a traité chaque étape, quels outils ont été appelés, quelle approbation a été accordée et si une nouvelle tentative a entraîné des coûts supplémentaires pour le fournisseur. Il est peu probable qu'un seul ID de requête soit suffisant une fois qu'une tâche se déploie dans plusieurs opérations de modèles et d'outils.
Pour les équipes exploitant une passerelle multimodèle API pour les équipes, cela crée une surface de routage plus large. La politique de routage peut devoir déterminer si une tâche est interactive ou durable, si elle peut attendre un modèle moins coûteux et si un fournisseur particulier prend en charge les outils, la région ou la durée de vie d'exécution requis.
HTTP les connecteurs élargissent les limites d'intégration
La version ajoute également HTTP API connecteurs qui ne nécessitent pas de MCP serveur. Mistral décrit ces connecteurs comme faisant partie d'un système de workflow capable de générer des workflows à partir d'instructions en langage naturel, d'appeler des services externes et d'utiliser des webhooks pour connecter les événements d'exécution à d'autres systèmes.
Cela est utile pour les organisations dont les outils internes exposent des points de terminaison REST conventionnels plutôt que des MCP interfaces. Cela augmente également le fardeau de la sécurité et des opérations. Les informations d’identification du connecteur nécessitent une isolation des locataires, des étendues contrôlées, une rotation et des pistes d’audit. Les tentatives doivent distinguer une répétition sécurisée d'un effet secondaire en double, en particulier lorsqu'un flux de travail peut reprendre après une interruption.
Les Webhooks introduisent un autre contrat opérationnel. Les destinataires ont besoin d'une authentification, d'une protection contre la relecture, de règles de classement des événements et d'un moyen de réconcilier les notifications manquées avec l'état d'exécution faisant autorité. Ces exigences s'appliquent directement à une plate-forme de revendeur d'IA API qui expose les tâches d'agent à plusieurs clients : un client ne doit voir que ses propres événements, tandis que la plate-forme doit toujours conserver suffisamment de détails pour enquêter sur les échecs et réconcilier l'utilisation.
L'évaluation fait partie du runtime
Mistral ajoute des fonctionnalités de traçage et d'évaluation en ligne et hors ligne à la même surface Studio. L’intérêt pratique est que les équipes peuvent évaluer bien plus que le texte renvoyé par un modèle. Ils peuvent inspecter la sélection des outils, les étapes intermédiaires, l'achèvement du flux de travail et l'effet des points de contrôle d'approbation humaine.
Cela peut pousser les passerelles et les revendeurs vers une comptabilité au niveau de la charge de travail. L'inférence de modèle, les appels d'outils externes, l'exécution de flux de travail et l'orchestration hébergée peuvent nécessiter des dimensions d'utilisation distinctes, même lorsque le client ne voit qu'un seul point de terminaison d'agent. Un enregistrement de facturation qui contient uniquement des jetons d'entrée et de sortie n'expliquera pas entièrement le coût d'une tâche de longue durée.
Cela soulève également une question de gouvernance : les traces d'évaluation peuvent contenir des invites, des données récupérées, des arguments d'outils et des sorties de systèmes connectés. Les organisations auront besoin de politiques de rétention et d’accès qui couvrent la trace, et pas seulement la réponse finale.Pour Model Gate, la limite du produit pertinente est la combinaison d'un routage adapté aux locataires, de la mesure de l'utilisation des clients et d'enregistrements d'exécution durables plutôt qu'un simple proxy pour les requêtes de modèle.
Ce qui reste flou
Mistral n'a pas établi de garanties de niveau de service de niveau production pour les exécutions gérées à long terme dans les annonces examinées. Les tarifs et les limites de quota détaillées pour les fonctionnalités des agents gérés n'ont pas non plus été identifiés. Ces détails détermineront si le service est adapté aux charges de travail de production sans surveillance ou principalement au développement et aux pilotes contrôlés.
La disponibilité entre les modes de déploiement est une autre question ouverte. Définir un agent une seule fois et l'exécuter localement, auto-hébergé ou via une infrastructure gérée par Mistral est attrayant, mais la compatibilité peut dépendre des connecteurs, des informations d'identification, de l'état d'exécution et des fonctionnalités d'évaluation. Les développeurs doivent tester la récupération après échec, les pauses d'approbation, la livraison des webhooks et le comportement de comptabilité avant de traiter les environnements comme interchangeables.