Streaming

Sæt "stream": true i anmodningsorganet. Streaming fungerer i begge inferensformater og ændrer ikke priser.

Antropisk udsender begivenheder som f.eks message_start, content_block_delta, og message_stop. OpenAI udsender data: {...} bidder og afslutter med data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Hold forbindelsen åben, og deaktiver omvendt proxybuffring. Lukning af klientforbindelsen annullerer opstrømsgenerering; allerede genereret forbrug forbliver fakturerbart. Se Fejl for at prøve vejledning igen.

Færdiggørelse og manglende brug

HTTP 200 bekræfter, at streamen begyndte, ikke at inferensen er afsluttet. En udbyderfejl eller afbrudt/trunkeret stream vises som mislykket eller ufuldstændig i Brug. Afslutning af chat er en afsluttende årsag til hvert anmodet valg eller [DONE]; Svar bruger response.completed; Antropiske anvendelser message_stop. Behold anmodnings-id'et, og behandl allerede modtagne tekst-/værktøjsargumenter som delvise. Gatewayen gentager ikke stille denne anmodning.

Udbyder-rapporteret brug, inklusive nul eller delvise tællere, er autoritativ. En bekræftet vellykket tekststrøm uden brug kan modtage et eksplicit mærket estimat baseret på afkodet tekst/begrundelse/værktøjsargument deltabytes, ekskl. SSE/JSON-framing; kun eksplicitte outputgrænser cap estimater. Mislykkede eller ikke-understøttede streams uden brug vises Ukendt brug · anmeldelse påkrævet og modtager ikke en automatisk byte-estimeret afgift. Ukendt er ikke bevis for, at udbyderens udførelse var gratis. Se Fejl.