OpenAI は 10 月 26 日に、Response API と Chat Completions API を通じて GPT-6.1 Terra をリリースし、コンピューターの使用を含むワークロードを対象とした低価格モデルを追加しました。標準の API レートは、入力トークン 100 万件あたり 1 ドル、キャッシュされた入力トークン 100 万件あたり 0.05 ドル、出力トークン 100 万件あたり 5 ドルです。
Terra は ChatGPT Work と Codex でも展開されていますが、標準の ChatGPT エクスペリエンスでは利用できません。この区別は、顧客にアクセスを伝える企業にとって重要です。API リスト、職場での製品展開、および消費者チャット インターフェースでの利用可能性は、別個の流通チャネルです。
このリリースにより、分類または抽出に使用される安価なモデルと、より高価な推論モデルとの間に新しい OpenAI ルーティング オプションが作成されます。また、これはゲートウェイ オペレータにとってよくある運用上の問題を引き起こします。つまり、ヘッドライン価格は統合作業の始まりにすぎません。
Terra の価格はワークロードの形状によって異なります
公表されているレートでは、出力トークンのコストは通常の入力トークンの 5 倍です。キャッシュされた入力の価格は、標準入力レートの 5% です。したがって、安定した命令、ツールの説明、またはその他の再利用可能なコンテキストを繰り返し送信するアプリケーションでは、大規模な応答を生成したり、プロンプトを継続的に変更したりするアプリケーションとは大幅に異なるコスト プロファイルが発生する可能性があります。
これは、コンピュータを使用するエージェントに特に関係します。このようなシステムは、タスクを完了する前に、複数の観察、推論、アクションのサイクルを実行できます。モデルの入力価格が低い場合でも、冗長な出力や長いツール ループにより合計請求額が高くなる可能性があります。したがって、OpenAI の発表されたレートは、最初のリクエストの価格だけでなく、タスク全体のコストに対して評価される必要があります。
統合 AI API 課金 を使用しているチームは、通常の入力、キャッシュされた入力、出力に対して個別のアカウンティングが必要になります。これらのカテゴリーを 1 つの混合トークン数値に集約すると、顧客料金とゲートウェイ マージンの両方が不明瞭になってしまいます。評価では、失敗したステップや再試行を含む、エージェントの実行全体にわたるトークンとコストを記録する必要があります。
ゲートウェイにはメタデータ、ポリシー、互換性の更新が必要
チーム用の マルチモデル API ゲートウェイに Terra を追加するには、モデル ID を登録するだけでは不十分です。カタログ レコードには、3 つのトークン レート、サポートされている API サーフェス、機能メタデータ、および地域制限が必要です。ルーティング システムは、ワークロードがプロンプト キャッシュから恩恵を受けるかどうか、また、明らかな入力価格の利点を打ち消すのに十分な出力またはツールの反復を生成する可能性が高いかどうかを区別する必要もあります。
OpenAI は、このモデルでは UAE 推論常駐がサポートされていないことを示しています。地域的な処理を約束するゲートウェイは、テナントが UAE に居住する必要がある場合、Terra を別の OpenAI モデルの交換可能な代替品として扱うことはできません。この制限は、モデル検出で表示され、ルーティング ポリシーで適用され、リクエスト ログに保存される必要があります。これにより、オペレータは、リクエストがブロックされた理由や他の場所に送信された理由を説明できるようになります。
再販業者は、さらなるコミュニケーションの問題に直面しています。 AI API 販売代理店プラットフォーム は、顧客の ChatGPT サブスクリプションに Terra API アクセスが含まれていること、または API の可用性がモデルが標準 ChatGPT で選択できることを意味することを暗示してはなりません。製品カタログと顧客向けの使用状況レポートでは、アクセス チャネルと効果的なモデルを個別に特定する必要があります。
Model Gate および類似の OpenAI 互換サービスの場合、実際のリリース チェックリストには、モデルの追加、キャッシュを考慮した価格の適用、常駐制限の公開、応答とチャット完了の両方の動作のテストが含まれます。通常の入力と出力が異なるマークアップを運ぶ一方で、キャッシュされたトークンがプロバイダーのコストで渡される場合、マージン ルールの修正が必要になる場合もあります。
パフォーマンスに関する主張には依然として独立したテストが必要
OpenAI は、Terra の機能、速度、幻覚の改善を報告しましたが、それらの主張はすべて独立して再現されたわけではありません。適切な比較はワークロードによっても異なります。短く構造化された応答に経済的なモデルは、広範な推論を発したり、アクションを再試行したり、長時間のコンピューター使用セッションを実行したりするエージェントにとってはあまり魅力的ではない可能性があります。
開発者は、従来のチャット テストの結果を転送するのではなく、代表的なプロンプト、ツール、完了制限を使用して Terra のベンチマークを行う必要があります。有用な測定には、タスクの完了率、エンドツーエンドのレイテンシ、キャッシュ ヒット頻度、出力量、ツール サイクル数、成功したタスクごとの総コストが含まれます。
したがって、Terra の当面の重要性は、普遍的に安価であるということではありません。これにより、API の購入者に別の OpenAI の価格帯が与えられ、ルーティング システムにはモデル化するための別のトレードオフが与えられます。実稼働コストが削減されるかどうかは、キャッシュ動作、応答の長さ、エージェント ループの効率、各リクエストに付加されている地域のポリシーによって決まります。