OpenAI 为需要快速、结构化判断而不是开放式生成的应用程序添加了新的 API 界面。该公司的 API 变更日志列出了 v1/decisions 的 10 月 6 日版本,这是目前在 GPT-6 Luna 上运行的公共测试端点。

实际区别很重要。 OpenAI 将决策 API 描述为一种将文本和图像转换为键入答案的方法,并表示它比使用响应 API 进行同类分类工作的速度最多快 10 倍。第二天,Vercel 使用模型标识符 openai/gpt-6-luna-decisions.

在其 AI 网关中添加了对新端点的支持

这使得此次发布不仅仅是模型目录更新。它引入了与聊天、生成、嵌入和工具运行并存的请求和响应模式。对于为团队运营多模型API网关的团队来说,问题不再只是调用哪个模型。这也是最适合任务的API形状。

发生了什么变化

决策 API 针对应用程序需要受限结果的工作负载:标签、类别、路由决策、策略结果或其他类型的答案。开发者可以使用围绕结构化决策输出设计的端点,而不是要求通用模型生成散文然后解析结果。

OpenAI 表示 GPT-6 Luna 是目前测试版唯一可用的模型。这种限制很重要,因为这意味着开发人员还没有在广泛的决策模型中进行选择。他们正在同时测试新的OpenAI端点和特定模型绑定。

时间安排还显示了网关提供商预计吸收新的API表面的速度。 Vercel 于 10 月 7 日提供的支持意味着使用其网关的开发人员可以调用决策 API,而无需直接针对 OpenAI 的端点进行集成。其他OpenAI兼容平台将面临相同的产品问题:兼容性是否意味着仅代理熟悉的聊天式 API,或者还暴露决策、代理、搜索和工具执行等专用界面。

为什么它对网关很重要

大多数 AI 网关架构都是从一个相对简单的假设开始的:标准化提供商差异,以便开发者可以切换背后的模型API。决策 API 推翻了这一假设。这不仅仅是同一聊天请求背后的不同模型。它是一个具有不同承诺的专用端点:低延迟类型输出。

这会影响路由、可观察性和结算。返回小型类型对象的分类调用不一定需要在长格式生成请求旁边进行分析,即使两者都使用 GPT-6-family 模型。延迟目标、成功标准和成本归因都可能不同。欺诈筛查决策、图像审核标签和销售线索路由结果可能比对话助理轮流有更多共同点。

对于开发团队的AI API控制平面,这意味着目录需要在模型身份和端点功能之间进行更清晰的区分。如果一个版本通过一般响应流公开,而另一个版本通过类型化决策端点公开,那么一行“GPT-6 Luna”是不够的。访问控制可能还需要具有端点感知能力,因为团队可能希望允许低风险分类工作负载,同时限制更广泛的生成使用。

Model Gate 和类似的 OpenAI 兼容网关在这里具有直接的产品含义:兼容性现在必须涵盖工作流语义,而不仅仅是请求身份验证和模型名称。如果客户需要一个 API 键、一个使用分类帐和一组团队策略,则决策调用需要作为他们自己的工作负载类可见,而不是隐藏在通用 GPT 用法中。

计费和分析变得更加精细

此次发布还给计费系统增加了压力,因为计费系统已经很难使不同的 AI 工作负载具有可比性。令牌的使用仍然很重要,但购买决策端点通常是为了吞吐量、延迟和可靠性。如果端点的营销速度比同类任务的响应 API 快得多,客户将需要分析来显示他们是否真正获得了运营优势。

这就需要单独的报告维度:端点、决策架构、模型、延迟、错误率和成本。在围绕统一 AI API 结算构建的平台中,这些字段有助于解释为什么对同一基础模型系列的两次调用可能会出现在不同的产品类别或价格范围下。

转销商和合作伙伴平台面临着相关问题。如果他们向自己的客户公开决策API,他们可能需要单独的文档、保证金规则和决策工作负载的使用导出。将每个 Luna 呼叫视为普通文本生成可能会模糊利润并使客户发票更难以辩护。

尚不确定的事情

测试版标签留下了几个悬而未决的问题。 OpenAI 尚未将决策 API 转变为广泛的多模型表面,而 GPT-6 Luna 是目前列出的唯一模型。目前还不清楚 SDK、OpenAI 兼容网关和可观察性工具将多快融合到决策调用的通用命名和跟踪约定上。

开发者还面临一个产品设计问题。某些应用程序将立即受益于专用类型端点,特别是在提示解析脆弱或缓慢的情况下。如果其他人依赖于多步骤推理、工具调用或共享上下文,则可能更愿意将分类保留在更广泛的响应工作流程中。

最安全的解读是OpenAI正在开辟另一个专门的API类别。更广泛的网关市场一直在朝着同一方向发展:搜索、代理、托管工具、音频和现在的键入决策正在成为单独计量的表面。对于开发人员来说,这可能意味着更好的适配性和更低的延迟。对于平台团队来说,这意味着网关层需要理解的不仅仅是基本网址和模型字符串。