Streaming

Sett "stream": true i forespørselsorganet. Streaming fungerer i begge inferensformater og endrer ikke prisene.

Antropisk avgir hendelser som f.eks message_start, content_block_delta, og message_stop. OpenAI sender ut data: {...} biter og avslutter med data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Hold tilkoblingen åpen og deaktiver omvendt proxy-buffring. Lukking av klientforbindelsen kansellerer oppstrømsgenerering; allerede generert bruk forblir fakturerbar. Se Feil for å prøve veiledning på nytt.

Fullføring og manglende bruk

HTTP 200 bekrefter at strømmen begynte, ikke at slutningen ble fullført. En leverandørfeil eller avbrutt/avkortet strøm vises som mislykket eller ufullstendig i bruk. Fullføring av chat er en fullføringsgrunn for hvert forespurt valg eller [DONE]; Responses bruker response.completed; Antropiske bruksområder message_stop. Behold forespørsels-ID-en og behandle allerede mottatt tekst-/verktøyargumenter som delvise. Gatewayen gjentar ikke denne forespørselen stille.

Leverandørrapportert bruk, inkludert null eller delvise tellere, er autoritativ. En bekreftet vellykket tekststrøm uten bruk kan motta et eksplisitt merket estimat basert på dekodet tekst/begrunnelse/verktøy-argument-deltabyte, unntatt SSE/JSON-innramming; eksplisitte utgangsgrenser kun anslag for tak. Mislykkede eller ikke-støttede strømmer uten bruk vises Ukjent bruk · vurdering kreves og mottar ikke en automatisk byteestimert kostnad. Ukjent er ikke bevis på at leverandørens utførelse var gratis. Se Feil.