Streaming

Satz "stream": true im Anfragetext. Streaming funktioniert in beiden Inferenzformaten und ändert nichts an der Preisgestaltung.

Anthropic sendet Ereignisse aus wie message_start, content_block_delta, Und message_stop. OpenAI sendet data: {...} Stücke und endet mit data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Halten Sie die Verbindung offen und deaktivieren Sie die Reverse-Proxy-Pufferung. Durch das Schließen der Client-Verbindung wird die Upstream-Generierung abgebrochen. bereits generierter Verbrauch bleibt abrechenbar. Sehen Fehler zur Anleitung zum erneuten Versuch.