Streamovanie

Set "stream": true v tele žiadosti. Streamovanie funguje v oboch odvodených formátoch a nemení ceny.

Antropický vyžaruje udalosti ako napr message_start, content_block_deltaa message_stop. OpenAI vyžaruje data: {...} kúsky a končí s data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Nechajte pripojenie otvorené a vypnite ukladanie reverzného proxy servera. Zatvorením klientskeho pripojenia sa zruší upstream generovanie; už vygenerované použitie zostáva fakturovateľné. Pozri Chyby pre opätovný pokus.

Dokončenie a chýbajúce použitie

HTTP 200 potvrdzuje spustenie streamu, nie ukončenie odvodzovania. Chyba poskytovateľa alebo prerušený/skrátený stream sa v časti Používanie zobrazuje ako zlyhaný alebo neúplný. Dokončenie dokončenia rozhovoru je konečným dôvodom pre každú požadovanú voľbu alebo [DONE]; Používa odpovede response.completed; Antropické využitie message_stop. Ponechajte ID žiadosti a už prijaté argumenty textu/nástroja považujte za čiastočné. Brána túto požiadavku potichu nezopakuje.

Smerodajné je používanie hlásené poskytovateľom, vrátane nulových alebo čiastočných počítadiel. Potvrdený úspešný textový tok bez použitia môže dostať explicitne označený odhad založený na delta bajtoch dekódovaného textu/uvažovania/nástroja-argumentu, s výnimkou rámcov SSE/JSON; explicitné limity výstupu iba odhady limitov. Zlyhané alebo nepodporované streamy bez zobrazenia využitia Použitie neznáme · vyžaduje sa kontrola a nedostanete automatický odhadovaný bajtový poplatok. Neznámy nie je dôkazom toho, že spustenie poskytovateľa bolo bezplatné. Pozri Chyby.