Google は、生成された散文ではなく限定された回答を必要とするアプリケーション向けの新しいエンドポイントである Gemini Decisions API を導入しました。 11 月 11 日にリリースされた API では、1 回のリクエストで最大 1,000 個の「はい」または「いいえ」、多肢選択式、またはルーブリック採点の質問を評価できます。

エンドポイントは、256,000 トークンの入力制限内でテキスト、画像、音声、ビデオ、PDF の入力を受け入れます。エッセイやチャットの応答を返す代わりに、ソフトウェアが分類、ランキング、ポリシー チェック、ルーティングに使用できる確率と信頼スコアを生成します。 Google によれば、リクエストは 150 ~ 250 ミリ秒のエンドツーエンドのレイテンシーで完了する可能性がありますが、そのパフォーマンス数値は実稼働ワークロード全体で独立して確立されていません。

意思決定のための独立した API サーフェス

このリリースは、プロバイダー カタログに別の Gemini モデルを追加するよりも重要です。 OpenAI 互換の統合のほとんどは生成リクエストを前提としています。クライアントはメッセージまたは入力項目を送信し、モデルはテキストまたは構造化出力を返し、プロバイダーは入力トークンと出力トークンの組み合わせに対して料金を請求します。

Gemini Decisions では別の契約が使用されます。アプリケーションはソース資料と制限された一連の質問を提供し、考えられるそれぞれの回答に対する数値的証拠を受け取ります。この設計は、コンテンツをレビュー キューに入れるかどうかの決定、リクエストのモデルの選択、取得したコンテキストの採点、文書化された採点ルーブリックの適用などのタスクに適しています。

開発者はこれらのワークフローを通常のテキスト生成で近似することができますが、生成された回答には解析が必要であり、アプリケーションに必要のない文言が導入される可能性があります。専用の意思決定エンドポイントは、より明示的なインターフェイスを提供します。つまり、意味のある出力は、散文の一節ではなく、選択されたオプションとそれに関連する確率または信頼度です。

料金によって測定モデルが変わります

Google には、100 万入力トークンあたり 0.10 ドルの価格がリストされており、出力トークンには請求されません。これは、従来の世代モデルで使用されていた産業連関計算からの大幅な逸脱です。また、請求対象の出力トークン数が 0 であっても、リクエストによって商業的に重要なデータが返される可能性があることも意味します。

したがって、ゲートウェイ オペレーターはトークンの合計のみに依存することはできません。使用状況レコードには、ワークロードのタイプ、入力量、質問の数、および関連する応答メタデータを保存する必要があります。 統合 AI API 請求を提供するシステムでは、ゼロの出力トークン値が欠落または不完全な使用記録と誤解されないように、別の料金表ルールも必要になる場合があります。

バッチ処理では、別の運用上の疑問が生じます。 1 つのリクエストで最大 1,000 の質問をサポートすると、ネットワークのオーバーヘッドを削減できますが、企業は依然としてその作業を内部でどのように帰属させるかを決定する必要があります。 1 つの API 呼び出しは、さまざまな製品や顧客に対して実行される数百のモデレーション チェック、ルーティング決定、またはドキュメント スコアを表す場合があります。

互換性はモデル名の変更だけにとどまりません

このモデルは、Google AI Studio の Gemini API を通じて入手できます。 Google を直接呼び出すチームの場合、導入には意思決定指向のリクエストとレスポンスの構造を理解しているクライアントが必要になります。チーム用 マルチモデル API ゲートウェイ の場合、エンドポイントを通常のチャット モデルであるかのように公開すると、重要な動作が隠蔽され、エラー処理、分析、請求が曖昧になる可能性があります。

よりクリーンなゲートウェイ設計では、決定が個別のワークロード クラスとして識別されます。その後、ルーティング ポリシーは、実際に言語出力を必要とするリクエストの生成モデルを予約しながら、制限された分類とスコアリングの作業を新しいエンドポイントに送信できます。アドミッション コントロールでは、リクエストを転送する前に、質問数、サポートされているメディア、入力サイズも検証する必要があります。

信頼性データは慎重に扱う必要があります。スコアはしきい値やエスカレーション ルールには役立ちますが、決定が正しいこと、またはすべてのドメインに対して調整されていることを証明するものではありません。結果的なポリシーやコンプライアンスのワークフローに API を使用するチームには、1 つの普遍的なカットオフを採用するのではなく、独自の評価、しきい値テスト、人間によるレビュー パスが必要になります。

まだ証明されていないこと

Google の発表により、API の形状、公開価格、および主張されているレイテンシが確立されていますが、製品の可用性とパフォーマンスに関する独立した証拠は依然として限られています。実際のレイテンシは、ペイロード サイズ、メディア処理、地理、リクエスト量によっても異なります。

したがって、当面のエンジニアリング作業は、既存の分類器を広範囲に置き換えるのではなく、制御された評価になります。開発者は、代表的なマルチモーダル入力をテストし、信頼スコアを既知の結果と比較し、大規模な質問バッチでエラーと部分的な結果がどのように動作するかを検証する必要があります。ゲートウェイ チームとプラットフォーム チームは、顧客がエンドポイントを利用できるようにする前に、ログが意思決定リクエストと生成を区別できることをさらに確認する必要があります。