Google は、Microsoft Office ファイルと OpenDocument ファイルのネイティブ サポートにより、Gemini API のドキュメント処理機能を拡張しました。また、モデルが処理する必要があるファイルの部分のみを選択するためのコントロールも追加されました。
アプリケーションは、サポートされている別の形式に変換しなくても、Word ドキュメント、PowerPoint プレゼンテーション、Excel ワークブック、OpenDocument ファイルを送信できます。また、ドキュメント ページ、ワークシート タブ、セル範囲、オーディオまたはビデオの間隔、および特定のコンテンツ レイヤーをターゲットにすることもできます。 Google では、顧客は選択したコンテンツに対してのみ処理して支払いを行うとしています。
基本的なファイル形式のサポートよりも組み合わせが重要です。これにより、ファイル選択が推論リクエストとその請求セマンティクスの一部になり、モデルに送信される無関係なマテリアルの量が削減される可能性があります。また、プロバイダ間で一貫したインターフェースを提供しようとするゲートウェイにとって、互換性に関する新たな課題も生じます。
ファイル変換は必ずしも必要ではなくなりました
ドキュメント アプリケーションは一般に、コンテンツをモデルに送信する前に変換サービスを使用して、テキストの抽出、ページのレンダリング、またはファイルの正規化を行います。ネイティブ Office サポートでは、特にレポート、プレゼンテーション、スプレッドシートを中心に構築されたワークフローの場合、Gemini ベースのパイプラインからこれらのステップの一部を削除できます。
これにより、取り込みシステムが簡素化され、ドキュメントの元の構造がより多く保持される可能性があります。たとえば、財務アシスタントは、ワークブック全体を抽出して送信する代わりに、Gemini を特定のワークシートまたはセル範囲に指示できます。プレゼンテーション ワークフローではスライドのグループを選択し、メディア アプリケーションでは関連する音声またはビデオの間隔を分離できます。
スライスは、ユーザー プロンプトとファイルを含む関数の応答の両方で使用できます。後者はエージェントにとって重要です。ツールは、ツールの結果ごとにアプリケーションに個別の派生ファイルを作成させるのではなく、モデルによって考慮されるべき部分を特定しながらファイルを返すことができます。
実際の利点はさまざまです。複雑な数式、埋め込みオブジェクト、および特殊な Office レイアウトは、ファイル間で一貫して動作しない可能性があり、研究パッケージでは普遍的なトークンや遅延の削減は確立されていません。チームは、既存の変換および検証段階を削除する前に、代表的なテストを行う必要があります。
選択したコンテンツが請求境界となる
Google の、顧客は選択したコンテンツに対してのみ料金を支払うという記述により、ファイル全体の処理よりも詳細なコスト境界が導入されます。アプリケーションは、タスクが狭いセクションのみに関係する場合、何百もの無関係なページや未使用のスプレッドシート タブを検査するための費用を回避できる可能性があります。
開発者は、セレクターを保証されたコスト見積もりとして扱うことは避けるべきです。最終的なトークン数と処理時間は、ファイル構造、選択したスライス、モデルがそのマテリアルをどのように表現するかによって異なります。使用状況記録には、後でコストを説明できるように、元のファイル参照と正確な選択パラメータの両方を保持する必要があります。
これは、顧客に使用状況の内訳を示す再販業者やソフトウェア プラットフォームに特に関係します。台帳では、アップロードされたファイルのサイズと、推論のために送信された部分を区別する必要がある場合があります。この区別がないと、請求書がユーザーに表示される文書と矛盾しているように見えたり、費用に関する紛争の調査が困難になったりする可能性があります。
OpenAI 互換性はすべてのセレクターをカバーするわけではありません
ページ、ワークシート、セル範囲、メディア間隔、コンテンツ レイヤー セレクターは、従来の OpenAI 互換ファイル入力にきちんとマッピングされません。したがって、チーム用の マルチモデル API ゲートウェイには、Gemini 固有の拡張機能を公開するか、セレクターの移植可能なサブセットを変換するか、同等の制御が欠けているプロバイダーを使用する前にアプリケーションにファイルの前処理を要求するかなど、いくつかの選択肢があります。
サポートされていないセレクターを黙って破棄するのは危険です。これにより、プロバイダーが文書全体を処理し、回答と請求書の両方が変更される可能性があります。ゲートウェイはリクエストを検証し、サポートされていない選択タイプを特定し、最終的にアップストリームに送信された正規化されたリクエストを記録する必要があります。
同じ問題がルーティングに影響します。 2 つのモデルは両方とも、実質的に異なるファイル タイプ、選択コントロール、および請求ルールをサポートしながら、ドキュメント入力をアドバタイズできます。開発者チーム向けの AI API コントロール プレーン は、「ファイル入力」を単一の交換可能な機能として扱うのではなく、これらの機能を明示的に表す必要があります。
開発者が確認すべきこと
Gemini を使用するチームは、数式、埋め込みメディア、複雑なレイアウトを含むファイルを含む、代表的な Word、PowerPoint、Excel、OpenDocument ファイルをテストする必要があります。セレクターのメタデータをログに保存しながら、ファイル全体とスライスされたリクエストを応答の品質、使用状況、レイテンシーに関して比較する必要があります。
ゲートウェイ オペレーターには追加の作業があります。新しいコントロールのスキーマを定義し、サポートされていないプロバイダー間ルートを拒否し、どのコンテンツが選択されたかを示すために顧客向けの測定を更新します。このリリースでは、変換作業と不必要な処理を削減できますが、それは、それらの新しいリクエストと請求セマンティクスがアプリケーションと Gemini.
の間のすべての層で存続する場合に限られます。