OpenAI 于 10 月 26 日通过响应和聊天完成 API 发布了 GPT-6.1 Terra,添加了针对包括计算机使用在内的工作负载的价格较低的模型。标准 API 费率为每百万个输入令牌 1 美元、每百万个缓存输入令牌 0.05 美元以及每百万个输出令牌 5 美元。
Terra 也在 ChatGPT Work 和 Codex 中推出,但在标准 ChatGPT 体验中不可用。这种区别对于企业与客户沟通访问权限很重要:API 列表、工作场所产品展示和消费者聊天界面中的可用性是不同的分销渠道。
此次发布在用于分类或提取的廉价模型与成本更高的推理模型之间创建了新的OpenAI路由选项。这也给网关运营商带来了一个熟悉的运营问题:总体价格只是整合工作的开始。
Terra 的价格取决于工作负载形状
按照公布的费率,输出令牌的成本是普通输入令牌的五倍。缓存输入的定价为标准输入费率的 5%。因此,重复发送稳定指令、工具说明或其他可重用上下文的应用程序可能会看到与生成大量响应或不断更改提示的应用程序截然不同的成本概况。
这与使用计算机的代理尤其相关。此类系统在完成任务之前可以运行多个观察、推理和行动周期。即使模型的输入价格较低,冗长的输出或较长的工具循环也会增加总费用。 OpenAI 的公布费率因此应根据完整任务成本进行评估,而不仅仅是第一个请求的价格。
使用统一人工智能API计费的团队需要对普通输入、缓存输入和输出进行单独核算。将这些类别合并为一个混合代币数字会掩盖客户费用和网关利润。评估应记录整个代理运行过程中的令牌和成本,包括失败的步骤和重试。
网关需要元数据、政策和兼容性更新
将 Terra 添加到团队的多模型 API 网关 需要的不仅仅是注册其模型 ID。目录记录需要三个令牌率、支持的API表面、功能元数据和区域限制。路由系统还需要区分工作负载是否受益于即时缓存,以及是否可能产生足够的输出或工具迭代来消除明显的输入价格优势。
OpenAI 表示此模型不支持阿联酋推理驻地。当租户需要阿联酋居住权时,承诺区域处理的网关不能将 Terra 视为另一个 OpenAI 模型的可互换替代品。该限制应在模型发现中可见、在路由策略中强制执行并保留在请求日志中,以便操作员可以解释请求被阻止或发送到其他地方的原因。
经销商面临额外的沟通问题。 AI API 经销商平台 不应暗示客户的 ChatGPT 订阅包括 Terra API 访问权限,或者 API 可用性意味着可以在标准 ChatGPT 中选择模型。产品目录和面向客户的使用报告应分别标识访问渠道和有效模型。
对于 Model Gate 和类似的 OpenAI 兼容服务,实际的发布清单包括添加模型、应用缓存感知价格、公开驻留限制以及测试响应和聊天完成行为。如果缓存的令牌以提供商成本传递,而普通输入和输出带有不同的标记,则保证金规则也可能需要修订。
性能声明仍需要独立测试
OpenAI 报告了 Terra 的能力、速度和幻觉改进,但这些声明并未全部被独立复制。正确的比较也会因工作负载而异。对于简短的结构化响应来说经济的模型可能对于发出广泛推理、重试操作或执行长时间计算机使用会话的代理来说不太有吸引力。
开发人员应使用具有代表性的提示、工具和完成限制对 Terra 进行基准测试,而不是传输传统聊天测试的结果。有用的测量包括任务完成率、端到端延迟、缓存命中频率、输出量、工具周期数以及每个成功任务的总成本。
因此,Terra 的直接意义并不在于它普遍更便宜。它为API买家提供了另一个OpenAI价格范围,并为路由系统提供了另一组需要建模的权衡。是否降低生产成本取决于缓存行为、响应长度、代理循环效率以及每个请求附加的区域政策。