Google 引入了 Gemini 决策 API,这是需要有限答案而不是生成散文的应用程序的新端点。 API 于 11 月 11 日发布,可在一次请求中评估多达 1,000 个是或否、多项选择或评分标准问题。
端点接受 256,000 个令牌输入限制内的文本、图像、音频、视频和 PDF 输入。它不会返回文章或聊天响应,而是生成概率和置信度分数,软件可将其用于分类、排名、策略检查和路由。 Google 表示请求可以在 150 到 250 毫秒的端到端延迟下完成,但尚未在生产工作负载中独立确定该性能数据。
单独的API决策界面
此次发布比向提供商目录中添加另一个 Gemini 模型更为重要。大多数OpenAI兼容的集成都采用生成请求:客户端发送消息或输入项,模型返回文本或结构化输出,提供商对输入和输出令牌的某种组合收费。
Gemini Decisions 使用不同的合同。应用程序提供源材料和一组有限的问题,然后接收每个可能答案的数字证据。该设计适合诸如决定内容是否应进入审核队列、为请求选择模型、对检索到的上下文进行评分或应用记录的评分标准等任务。
开发人员可以通过普通文本生成来近似这些工作流程,但生成的答案需要解析,并且可能会引入应用程序不需要的措辞。专门构建的决策端点提供了更明确的界面:有意义的输出是所选选项及其相关概率或置信度,而不是一段散文。
定价改变了计量模式
Google 列出的价格为每百万个输入代币 0.10 美元,并且不对输出代币计费。这与传统发电模型使用的投入产出核算有很大不同。这还意味着请求可能会返回商业上重要的数据,即使其计费输出令牌计数为零。
因此,网关运营商不能仅依赖令牌总数。使用记录需要保留工作负载类型、输入量、问题数量和相关响应元数据。提供统一 AI API 计费 的系统可能还需要单独的价目表规则,以便零输出令牌值不会被误认为是丢失或不完整的使用记录。
批处理会产生另一个操作问题。在一个请求中支持最多 1,000 个问题可以减少网络开销,但企业仍然需要决定如何在内部分配该工作。一次 API 调用可能代表针对不同产品或客户执行的数百次审核检查、路由决策或文档评分。
兼容性不仅仅是更改模型名称
该模型可通过 Google AI Studio 中的Gemini API 获取。对于直接调用 Google 的团队,采用时需要客户端了解其面向决策的请求和响应结构。对于团队的多模型API网关,将端点暴露为普通聊天模型会隐藏重要行为,并可能导致错误处理、分析和计费不明确。
更简洁的网关设计会将决策识别为不同的工作负载类别。然后,路由策略可以将有界分类和评分工作发送到新端点,同时为实际需要语言输出的请求保留生成模型。准入控制还应在转发请求之前验证问题数、支持的媒体和输入大小。
置信度数据值得仔细处理。分数对于阈值和升级规则很有用,但并不能证明决策对于每个域都是正确的或经过校准的。使用 API 进行后续政策或合规性工作流程的团队将需要自己的评估、阈值测试和人工审核路径,而不是采用一种通用截止值。
哪些内容尚未得到证实
Google 的公告确定了 API 形状、公布的价格和声称的延迟,但有关生产可用性和性能的独立证据仍然有限。实际延迟还取决于负载大小、媒体处理、地理位置和请求量。
因此,当前的工程任务是受控评估,而不是广泛替换现有分类器。开发人员应该测试代表性的多模式输入,将置信度得分与已知结果进行比较,并验证错误和部分结果在大批量问题中的表现。在向客户提供端点之前,网关和平台团队还应确认他们的日志可以区分决策请求和生成。