Mistral 正在将 Studio 从模型构建工作区扩展为代理运行时。在 11 月 5 日的公告中,该公司推出了公开预览版的托管代理,以及持久的工作流执行、HTTP 连接器、网络钩子、跟踪和评估工具。
这种转变很重要,因为运行数小时、暂停审批或在崩溃后恢复的代理会产生与同步聊天请求不同的基础设施问题。团队现在必须考虑执行状态、工具调用、凭证、重试和人工决策以及模型令牌。
托管代理旨在持久保存
Mistral 表示,开发人员可以定义一次代理,然后在本地、自托管环境中或通过 Mistral 管理的部署运行它。托管执行可以持续数小时或数天,在崩溃后恢复并在等待人工批准时暂停。
这使得执行记录与最终答案一样重要。生产系统需要知道哪个用户或服务启动了作业、哪个模型处理每个步骤、调用了哪些工具、授予了哪些批准以及重试是否会产生额外的提供商成本。一旦一项作业分散到多个模型和工具操作中,单个请求 ID 就不够了。
对于为团队操作多模型API网关的团队,这会创建更广泛的路由表面。路由策略可能需要考虑任务是交互式的还是持久的、是否可以等待较低成本的模型,以及特定提供程序是否支持所需的工具、区域或执行生命周期。
HTTP 连接器拓宽了集成边界
该版本还添加了不需要 MCP 服务器的 HTTP API 连接器。 Mistral 将这些连接器描述为工作流系统的一部分,可以根据自然语言指令生成工作流、调用外部服务并使用 Webhook 将执行事件连接到其他系统。
这对于内部工具公开传统 REST 端点而不是 MCP 接口的组织非常有用。它还增加了安全和运营负担。连接器凭证需要租户隔离、受控范围、轮换和审计跟踪。重试必须区分安全重复和重复副作用,尤其是当工作流可以在中断后恢复时。
Webhooks 引入了另一个操作协定。接收者需要身份验证、重播保护、事件排序规则以及将错过的通知与权威执行状态进行协调的方法。这些要求与向多个客户公开代理作业的 AI API 经销商平台直接相关:客户应仅看到自己的事件,而平台仍必须保留足够的详细信息以调查故障并协调使用情况。
评估成为运行时的一部分
Mistral 正在向同一个 Studio 界面添加跟踪以及在线和离线评估功能。实际意义在于,团队可以评估的不仅仅是模型返回的文本。他们可以检查工具选择、中间步骤、工作流程完成情况以及人工审批检查点的效果。
这可能会推动网关和经销商转向工作负载级会计。即使客户看到一个代理端点,模型推理、外部工具调用、工作流运行时和托管编排也可能需要单独的使用维度。仅包含输入和输出令牌的计费记录无法完全解释长时间运行的作业的成本。
它还提出了一个治理问题:评估跟踪可以包含提示、检索的数据、工具参数和来自连接系统的输出。组织将需要涵盖跟踪的保留和访问策略,而不仅仅是最终响应。对于 Model Gate,相关产品边界是租户感知路由、客户使用计量和持久执行记录的组合,而不是模型请求的简单代理。
尚不清楚的内容
Mistral 尚未在审查的公告中为长期运行的托管执行建立生产级服务级别保证。托管代理功能的定价和详细配额限制也未确定。这些详细信息将决定该服务是否适合无人值守的生产工作负载,还是主要适合开发和受控试点。
跨部署模式的可用性是另一个悬而未决的问题。定义一次代理并在本地、自托管或通过 Mistral 管理的基础设施运行它很有吸引力,但兼容性可能取决于连接器、凭据、运行时状态和评估功能。开发人员应在将环境视为可互换之前测试故障恢复、审批暂停、网络钩子传送和记帐行为。