Streaming

Satz "stream": true im Anfragetext. Streaming funktioniert in beiden Inferenzformaten und ändert nichts an der Preisgestaltung.

Anthropic sendet Ereignisse aus wie message_start, content_block_delta, Und message_stop. OpenAI sendet data: {...} Stücke und endet mit data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Halten Sie die Verbindung offen und deaktivieren Sie die Reverse-Proxy-Pufferung. Durch das Schließen der Client-Verbindung wird die Upstream-Generierung abgebrochen. bereits generierter Verbrauch bleibt abrechenbar. Sehen Fehler zur Anleitung zum erneuten Versuch.

Fertigstellung und fehlende Nutzung

HTTP 200 bestätigt, dass der Stream begonnen hat, nicht, dass die Inferenz abgeschlossen ist. Ein Anbieterfehler oder ein unterbrochener/abgeschnittener Stream wird unter „Nutzung“ als fehlgeschlagen oder unvollständig angezeigt. Der Abschluss von Chat-Abschlüssen ist ein Abschlussgrund für jede angeforderte Auswahl oder [DONE]; Antworten verwendet response.completed; Anthropische Nutzungen message_stop. Behalten Sie die Anforderungs-ID bei und behandeln Sie bereits empfangene Text-/Tool-Argumente als teilweise. Das Gateway wiederholt diese Anfrage nicht stillschweigend.

Maßgeblich ist die vom Anbieter gemeldete Nutzung, einschließlich null oder teilweiser Zähler. Ein bestätigter erfolgreicher Textstream ohne Verwendung kann eine explizit gekennzeichnete Schätzung basierend auf dekodierten Text-/Begründungs-/Tool-Argument-Deltabytes erhalten, ausgenommen SSE/JSON-Framing; Die explizite Ausgabe begrenzt nur Obergrenzenschätzungen. Fehlgeschlagene oder nicht unterstützte Streams ohne Nutzungsanzeige Verwendung unbekannt · Überprüfung erforderlich und erhalten keine automatische Byte-Schätzgebühr. Unbekannt ist kein Beweis dafür, dass die Ausführung durch den Anbieter kostenlos war. Sehen Fehler.