Google 扩展了 Gemini API 的文档处理功能,提供了对 Microsoft Office 和 OpenDocument 文件的本机支持,以及用于仅选择模型应处理的文件部分的控件。
应用程序可以提交 Word 文档、PowerPoint 演示文稿、Excel 工作簿和 OpenDocument 文件,而无需先将其转换为其他受支持的格式。他们还可以定位文档页面、工作表选项卡、单元格范围、音频或视频间隔以及特定内容层。 Google 表示客户仅处理所选内容并为其付费。
这种组合比基本文件格式支持更重要。它将文件选择转变为推理请求及其计费语义的一部分,从而可能减少发送到模型的不相关材料的数量。它还为尝试在提供程序之间提供一致接口的网关带来了新的兼容性挑战。
不再总是需要文件转换
文档应用程序通常使用转换服务来提取文本、呈现页面或规范化文件,然后再将其内容发送到模型。 Native Office 支持可以从基于 Gemini 的管道中删除其中一些步骤,特别是对于围绕报告、演示文稿和电子表格构建的工作流程。
这可以简化摄取系统并保留更多文档的原始结构。例如,财务助理可以将Gemini定向到特定的工作表或单元格范围,而不是提取和传输整个工作簿。演示工作流程可以选择一组幻灯片,而媒体应用程序可以隔离相关的音频或视频间隔。
切片可在用户提示和文件承载功能响应中使用。后者对于代理来说非常重要:工具可以返回文件,同时识别模型应考虑的部分,而不是强制应用程序为每个工具结果创建单独的派生文件。
实际收益会有所不同。复杂的公式、嵌入式对象和不寻常的 Office 布局可能在文件之间表现不一致,并且研究包不会建立通用令牌或延迟减少。在删除现有的转化和验证阶段之前,团队需要进行代表性测试。
所选内容成为计费边界
Google关于客户只需为所选内容付费的声明引入了比整个文件处理更细粒度的成本边界。当任务仅涉及一小部分时,应用程序可能会避免付费检查数百个不相关的页面或未使用的电子表格选项卡。
开发人员仍应避免将选择器视为有保证的成本估算。最终的标记计数和处理时间可能取决于文件结构、所选切片以及模型表示该材料的方式。使用记录应保留原始文件参考和准确的选择参数,以便稍后解释成本。
这对于向客户显示使用情况细目的经销商和软件平台尤其重要。他们的分类帐可能需要区分上传文件的大小和提交推理的部分。如果没有这种区别,发票可能会与用户可见的文档不一致,或者使成本争议难以调查。
OpenAI 兼容性不会涵盖所有选择器
页面、工作表、单元格范围、媒体间隔和内容层选择器不会整齐地映射到传统的 OpenAI 兼容文件输入。因此,适用于团队的多模型API网关有多种选择:公开Gemini特定的扩展、转换选择器的可移植子集,或者要求应用程序在使用缺乏等效控件的提供程序之前预处理文件。
默默地丢弃不受支持的选择器是有风险的。它可能会导致提供商处理整个文档,从而更改答案和账单。网关应验证请求、识别不支持的选择类型并记录最终发送到上游的规范化请求。
同样的问题也会影响路由。两种模型都可以广告文档输入,同时支持本质上不同的文件类型、选择控制和计费规则。开发者团队的 AI API 控制平面 应明确表示这些功能,而不是将“文件输入”视为单一可互换功能。
开发者应检查的内容
使用 Gemini 的团队应测试代表性的 Word、PowerPoint、Excel 和 OpenDocument 文件,包括带有公式、嵌入式媒体和复杂布局的文件。他们应该比较整个文件和切片请求的答案质量、使用情况和延迟,同时在日志中保留选择器元数据。
网关操作员还有其他工作:为新控件定义架构、拒绝不受支持的跨提供商路由以及更新面向客户的计量以显示选择了哪些内容。该版本可以减少转换工作和不必要的处理,但前提是这些新的请求和计费语义能够在应用程序和 Gemini.
之间的每一层中生存下来