Streaming

Uppsättning "stream": true i förfrågningsorganet. Streaming fungerar i båda inferensformaten och ändrar inte prissättningen.

Antropisk avger händelser som t.ex message_start, content_block_delta, och message_stop. OpenAI avger data: {...} bitar och avslutar med data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Håll anslutningen öppen och inaktivera omvänd proxybuffring. Att stänga klientanslutningen avbryter uppströmsgenerering; redan genererad användning förblir fakturerbar. Se Fel för vägledning igen.

Komplettering och saknad användning

HTTP 200 bekräftar att strömmen började, inte att slutsatsen avslutades. Ett leverantörsfel eller avbruten/trunkerad ström visas som misslyckad eller ofullständig i Användning. Slutförandet av chatt är en avslutande orsak till varje begärt val eller [DONE]; Responses uses response.completed; Antropiska användningsområden message_stop. Behåll begäran-ID och behandla redan mottagna text-/verktygsargument som partiella. Gatewayen upprepar inte denna begäran tyst.

Leverantörsrapporterad användning, inklusive noll- eller partiella räknare, är auktoritativ. En bekräftad framgångsrik textström utan användning kan få en explicit märkt uppskattning baserad på avkodad text/resonemang/verktygsargument deltabytes, exklusive SSE/JSON-ramning; explicita utdata begränsar endast uppskattningar av tak. Misslyckade eller ostödda strömmar utan användning visas Användning okänd · recension krävs och får inte en automatisk byte-uppskattad debitering. Okänd är inte bevis på att leverantörens utförande var gratis. Se Fel.