Akış

Ayarlamak "stream": true istek gövdesinde. Akış her iki çıkarım biçiminde de çalışır ve fiyatlandırmayı değiştirmez.

Antropik aşağıdaki gibi olayları yayar: message_start, content_block_delta, Ve message_stop. OpenAI yayar data: {...} parçalar ve bitirir data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Bağlantıyı açık tutun ve ters proxy arabelleğe almayı devre dışı bırakın. İstemci bağlantısının kapatılması yukarı akış oluşturmayı iptal eder; Halihazırda oluşturulmuş kullanım faturalandırılabilir durumda kalır. Görmek Hatalar rehberliği yeniden denemek için.