ストリーミング

セット "stream": true リクエスト本文に。ストリーミングは両方の推論形式で機能し、価格は変わりません。

Anthropic は次のようなイベントを発行します。 message_start、 content_block_delta、 そして message_stop。 OpenAIが排出する data: {...} チャンクと終了 data: [DONE]。

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

接続を開いたままにし、リバース プロキシ バッファリングを無効にします。クライアント接続を閉じると、アップストリームの生成がキャンセルされます。すでに生成された使用量は引き続き請求の対象となります。見る エラー リトライガイダンス用です。