GitHub は Copilot Fusion を一般提供し、マルチモデル ルーティングをインフラストラクチャの問題から日常のコーディング ワークフローに移行させました。開発者に 1 つの固定モデルの選択を要求する代わりに、Fusion はリクエストに対して 1 つ以上のモデルを選択して調整できます。

リリースは GitHub Copilot を超えて重要です。これは、サービスが基礎となるモデルの決定をいくつか行っている間に、ユーザーが 1 つのタスクを送信する方法を示しており、個別に請求される呼び出しが複数生成される可能性があります。これにより、開発者、管理者、請求システムがリクエストについて知っておくべきことが変わります。インターフェースに表示されるモデルは、必ずしも作業がどのように実行されたかを完全に説明するものではなくなります。

Fusion では選択、カスケード、または批評が可能

GitHub には、Fusion の 3 つの実行パターンが記載されています。リクエストは、選択された 1 つのモデルに送られることも、モデルのカスケードを通過することも、あるモデルを使用して別のモデルの出力を批評することもできます。ユーザーは、標準、高、最大のエフォート レベルを選択して、適用されるオーケストレーションの量をある程度制御することもできます。

ルーティングはプロバイダーの背後にある目に見えない最適化ではなく、エンドユーザー エクスペリエンスの一部になりつつあるため、これは製品の大きな変化です API。 チーム用のマルチモデル API ゲートウェイ は、アプリケーション層で同様の選択を実行できますが、Fusion は主要な開発環境内で決定を行い、開発者に作業量の制御を直接公開します。

このアプローチにより、ユーザーが利用可能なすべてのモデルの長所を理解する必要性が軽減される可能性があります。また、新たな診断上の問題も発生します。答えが遅い、高価である、または不正確である場合、チームはその結果が 1 つのモデルから来たのか、カスケードから来たのか、または複数のモデルを含む批評パスから来たのかを知る必要があります。

1 つのリクエストで複数の料金が発生する可能性があります

GitHub は、Fusion で使用される各モデルがそのモデルの標準料金で請求されることを示しています。また、有料プランの Fusion モデル費用を一時的に 30% 割引することも発表しましたが、レビューされた発表では割引がいつ終了するかは明記されていません。

その課金設計により、実行トレースが商業的に重要になります。オーケストレーションがより良い結果を生み出す場合でも、単一の開発者のアクションは、1 つのモデルを直接呼び出すよりも多くのリソースを消費する可能性があります。したがって、Fusion を評価するチームは、関係する最初のモデルのリストされたトークン価格だけでなく、完了したコーディング タスクごとのコストを比較する必要があります。

同じ問題が 統合 AI API 請求にも当てはまります。使用状況レコードは、元のユーザー要求への接続を維持しながら、基礎となるすべてのモデル呼び出しを識別する必要があります。この関係がないと、管理者はモデル料金を確認できても、どのタスクがその料金を生成したか、または工数設定によってコストが増加したかどうかを説明するのに苦労する可能性があります。

エンタープライズ ポリシーが引き続きルートを形成します

企業および組織の管理者は、GitHub の既存のモデル ポリシーを通じて、Fusion が使用できるモデルを制限できます。これにより、企業は内部要件を満たさないモデルを除外できるようになりますが、同じ Fusion リクエストが組織間で異なる方法でルーティングされる可能性があることも意味します。

エンジニアリング リーダーにとって、モデル ポリシーと予算ポリシーを一緒に検討する必要があります。カタログ内で高価なモデルを許可すると、開発者が明示的に選択した場合だけでなく、Fusion がマルチモデル シーケンスの一部としてそのモデルを呼び出すことができる場合があります。したがって、チームの実践的な AI API 支出管理では、オーケストレーションの深さ、作業レベル、タスクに関連するすべての呼び出しの総コストを考慮する必要があります。

ゲートウェイ オペレーターは、関連するレポート要件に直面しています。ログでは、ユーザーが要求したモデルまたはモードと、実際に要求を処理したすべてのモデルを区別する必要があります。この区別により、時間の経過とともにルーティング動作が変化する場合のコストの帰属、インシデント調査、および再現可能な評価がサポートされます。

ローカル ルーティングによってクラウドに関する質問が解消されるわけではありません

GitHub は、対象となるローカル モデルとクラウド モデルの間でルーティングできる実験的なプレビューも導入しました。ローカル推論は、コスト、レイテンシー、またはデータ処理に関する別のオプションを提供する可能性がありますが、「ローカル」という言葉自体が完全な処理パスを表すものではありません。チームは、どのルーティング決定、プロンプト、メタデータ、またはフォローアップ モデル呼び出しが GitHub のクラウド サービスに残っているかを明確にする必要があります。

いくつかの詳細は未解決のままです。 GitHub は 30% 割引の期間を指定しておらず、公開されている Claude コードとのコストとパフォーマンスの比較は、特定のベンチマーク構成に依存します。これらの結果は、すべてのリポジトリまたはワークロードに対する普遍的な推定値として扱うべきではありません。

永続的な変更はアーキテクチャに関するものです。モデル オーケストレーションは開発者ツールの標準機能になりつつあります。そうなると、透過的なルーティング レコード、ポリシーを意識したモデルの選択、タスク レベルのコスト レポートが、オプションの可観測性機能ではなく製品の必須部分になります。