Streamování

Soubor "stream": true v těle žádosti. Streamování funguje v obou odvozených formátech a nemění ceny.

Antropický vydává události jako např message_start, content_block_deltaa message_stop. OpenAI vydává data: {...} kousky a končí s data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Nechte připojení otevřené a zakažte ukládání do vyrovnávací paměti reverzního proxy. Uzavřením klientského připojení se zruší upstream generování; již vytvořené použití zůstává fakturovatelné. Vidět Chyby pro opětovné vedení.

Dokončení a chybějící použití

HTTP 200 potvrzuje, že datový proud začal, nikoli že odvození skončilo. Chyba poskytovatele nebo přerušený/zkrácený stream se v části Použití zobrazí jako neúspěšný nebo neúplný. Dokončení chatu je důvodem dokončení pro každou požadovanou volbu nebo [DONE]; Použití odpovědí response.completed; Antropické použití message_stop. Zachovejte ID požadavku a zacházejte s již přijatými argumenty textu/nástroje jako s částečnými. Brána tento požadavek tiše neopakuje.

Využití nahlášené poskytovatelem, včetně nulových nebo částečných počítadel, je směrodatné. Potvrzený úspěšný textový tok bez použití může obdržet explicitně označený odhad založený na delta bajtech dekódovaného textu/důvodu/argumentu nástroje, s výjimkou rámců SSE/JSON; explicitní výstupní limity pouze odhady. Neúspěšné nebo nepodporované streamy bez zobrazení využití Použití neznámé · nutná kontrola a neobdržíte automatický poplatek s odhadem bajtů. Neznámý není důkazem, že provedení poskytovatele bylo bezplatné. Vidět Chyby.