Cloudflare AI Gatewayは、プールされたルーティングとフェイルオーバー用のモデルエイリアスを追加します

Cloudflare AI Gateway にはモデル エイリアスが追加されており、お客様はアプリケーションで使用される 1 つの名前の背後にモデルのプールを配置できるようになります。エイリアスは順序付けされたフォールバック ポリシーまたはスマート ルーティングのいずれかを適用できますが、クライアントはゲートウェイの REST API.

を通じてエイリアスをモデル名として送信します。

実際的な変更は、アプリケーションがリクエストするモデル識別子と、リクエストを最終的に処理するモデルを分離することです。ゲートウェイ オペレータは、エイリアスを使用するすべてのクライアントを再デプロイすることなく、プール、ルーティング ポリシー、または基礎となるモデルを変更できます。 Cloudflare によれば、エイリアスのスコープは個々のゲートウェイに限定されます。

これは、モデルの名前を変更するための単なる利便性だけではありません。これにより、プロバイダーの可用性、モデルのバージョン、ルーティング設定がその背後で変化する一方で、オペレーターはアプリケーションに対して安定したインターフェースを提供できます。

変更されるモデル プールの安定した名前

エイリアス層がない場合、アプリケーションは通常、プロバイダー固有のモデル識別子に依存します。したがって、モデルの置き換え、フォールバックの追加、または別のプロバイダーへのトラフィックの移動には、複数のサービスにわたる構成の変更が必要になる場合があります。また、再試行およびプロバイダ選択ロジックを各クライアントにプッシュすることもあります。

Cloudflare の実装により、これらの決定がゲートウェイに移されます。順序付けされたフォールバックを使用すると、オペレーターは優先モデルと、最初の選択肢がリクエストに対応できない場合に試行する代替モデルを定義できます。スマート ルーティングは、ゲートウェイが固定シーケンスに従うのではなく、プールから選択するポリシー主導の代替手段を提供します。

その取り決めは、チーム用のマルチモデル API ゲートウェイに特に関連します。ソフトウェア チームは、実装を一元的に変更しながら、アプリケーションに永続的なモデル名を付けることができます。また、複数の内部サービスで使用される識別子を標準化して、アプリケーション所有者と調整する必要があるモデル移行の数を減らすこともできます。

ただし、エイリアスはゲートウェイ固有のままです。複数の Cloudflare ゲートウェイを運用している組織は、環境または事業単位全体で一貫した名前とポリシーが必要な場合、同等のエイリアスを個別に管理する必要があります。

フェイルオーバーは容易になりますが、可観測性は難しくなります

アプリケーションは独自のプロバイダー選択コードやフォールバック コードを必要としないため、モデル プールにより復元力が向上します。オペレーターが順序付きプールを変更した場合、アプリケーションは同じエイリアスを呼び出し続けます。同じメカニズムで、クライアント側の契約を変更することなく、モデルのアップグレードやプロバイダーの変更をサポートできます。

しかし、安定した識別子には、演算子が無視できない会計上の区別が導入されます。ログと使用記録には、クライアントによって要求されたエイリアスと、実際に要求を処理したモデルの両方が保存される必要があります。そうしないと、エイリアスの下でのみ報告されたリクエストによって、価格、レイテンシ、出力品質、またはプロバイダーの処理の違いが隠れてしまう可能性があります。

これは、技術的なデバッグと同様に、チャージバックとカスタマー サポートにとっても重要です。同じエイリアスに対する 2 つのリクエストが異なるモデルで処理される場合、クライアント構成が変更されていない場合でも、コストと動作が異なる場合があります。したがって、開発者チーム用の AI API コントロール プレーンには、パブリック モデル名でグループ化された数だけでなく、実行レベルの属性が必要です。

評価も継続的な運用タスクになります。ルーティングの変更は、コードをデプロイしなくてもアプリケーションの動作に影響を与える可能性があるため、チームはポリシーのリビジョンをテストし、評価された各リクエストにどのモデルが対応したかの記録を保持する必要があります。フォールバックが繰り返される場合はプロバイダーの問題または容量の枯渇を示している可能性があるため、アラートではフォールバックの成功と優先モデルの通常の使用を区別する必要があります。

再販業者とプラットフォーム オペレーターへの影響

エイリアスは、顧客向けのモデル カタログを公開するプラットフォームに役立ちます。再販業者は、廃止予定のモデルを置き換えたり、プロバイダーの組み合わせを調整したり、その背後にフォールバック オプションを導入したりする際に、安定した製品名を公開できます。これにより、中断を伴うカタログ移行が軽減され、オペレーターが可用性を一元管理できるようになります。

抽象化により、開示や請求に関する質問も生じます。お客様は、エイリアスが常に 1 つのモデルにマップされるのか、複数のモデルから選択されるのか、または時間の経過とともに動作が変更されるのかを知る必要がある場合があります。 AI API 再販業者の業務の場合、請求書と使用状況のエクスポートにより、顧客の料金とプロバイダーのコストを調整できるほどルーティングの結果が明確になる必要があります。

運用者は、予算、レート制限、およびアクセス ポリシーをエイリアス、基になるモデル、あるいはその両方に適用するかどうかも決定する必要があります。大幅に異なる価格のモデルにルーティングできるエイリアスは、クライアントの構成時に確立された支出の想定を黙ってバイパスしてはなりません。

不明な点は何ですか

Cloudflare の変更ログはコア動作を確立していますが、この発表ではスマート ルーティングで使用される決定基準については説明されていません。また、フェイルオーバーのパフォーマンス測定や、エイリアスの変更がどの程度の速さで反映されるかについても説明しません。

これらの詳細によって、チームがレイテンシの影響を受けやすいワークロードや厳密に管理されたワークロードに対してどれだけ自信を持ってエイリアスを使用できるかが決まります。現時点では、直接的な利点は明らかです。ルーティング決定がゲートウェイに移行する間、アプリケーションは安定したモデル名に依存できます。対応する義務も同様に明確です。レポート、請求、監査は、アプリケーションが指定したエイリアスだけでなく、実際にリクエストを実行したモデルに従わなければなりません。