Streamen

Set "stream": true in de verzoektekst. Streaming werkt in beide gevolgtrekkingsformaten en verandert de prijzen niet.

Anthropic zendt gebeurtenissen uit zoals message_start, content_block_delta, En message_stop. OpenAI zendt uit data: {...} stukjes en eindigt met data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Houd de verbinding open en schakel reverse-proxy-buffering uit. Het sluiten van de clientverbinding annuleert de stroomopwaartse generatie; reeds gegenereerd gebruik blijft factureerbaar. Zien Fouten voor begeleiding bij opnieuw proberen.

Voltooiing en ontbrekend gebruik

HTTP 200 bevestigt dat de stream is begonnen, en niet dat de gevolgtrekking is voltooid. Een providerfout of een onderbroken/afgekapte stream wordt in Gebruik weergegeven als mislukt of onvolledig. Het voltooien van Chat Voltooiingen is een reden voor het voltooien van elke gevraagde keuze of [DONE]; Reacties gebruiken response.completed; Antropische toepassingen message_stop. Bewaar de aanvraag-ID en behandel reeds ontvangen tekst-/toolargumenten als gedeeltelijk. De gateway herhaalt dit verzoek niet stilzwijgend.

Door de provider gerapporteerd gebruik, inclusief nul- of gedeeltelijke tellers, is gezaghebbend. Een bevestigde succesvolle tekststroom zonder gebruik kan een expliciet gelabelde schatting ontvangen op basis van gedecodeerde tekst/redenering/tool-argument deltabytes, exclusief SSE/JSON-framing; Alleen expliciete productielimieten beperken schattingen. Mislukte of niet-ondersteunde streams zonder gebruik worden weergegeven Gebruik onbekend · beoordeling vereist en ontvang geen automatische byte-geschatte kosten. Onbekend is geen bewijs dat de executie van de provider gratis was. Zien Fouten.