Streaming

set "stream": true u tijelu zahtjeva. Streaming radi u oba formata zaključivanja i ne mijenja cijene.

Anthropic emitira događaje kao što su message_start, content_block_delta, i message_stop. OpenAI emitira data: {...} komadiće i završava sa data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Držite vezu otvorenom i onemogućite međuspremnik obrnutog proxyja. Zatvaranje klijentske veze poništava uzvodno generiranje; već generirana upotreba ostaje naplativa. Vidjeti Greške za upute za ponovni pokušaj.

Dovršetak i nedostajuća uporaba

HTTP 200 potvrđuje da je tok započeo, a ne da je zaključivanje završeno. Pogreška pružatelja ili prekinuti/skraćeni tok prikazan je kao neuspješan ili nedovršen u korištenju. Završetak chata završni je razlog za svaki traženi izbor ili [DONE]; Odgovori koriste response.completed; Antropske upotrebe message_stop. Zadržite ID zahtjeva i tretirajte već primljene argumente teksta/alata kao djelomične. Gateway ne ponavlja tiho ovaj zahtjev.

Mjerodavna je upotreba koju prijavljuje pružatelj usluga, uključujući nula ili djelomične brojače. Potvrđeni uspješni tekstualni tok bez upotrebe može primiti eksplicitno označenu procjenu na temelju delta bajtova dekodiranog teksta/obrazloženja/argumenta alata, isključujući SSE/JSON okvir; eksplicitna izlazna ograničenja ograničenje samo na procjene. Prikazuju se neuspjeli ili nepodržani streamovi bez korištenja Upotreba nepoznata · potreban pregled i ne primaju automatsku naplatu procijenjenu u bajtu. Nepoznato nije dokaz da je izvršenje pružatelja bilo besplatno. Vidjeti Greške.