Pretakanje

Set "stream": true v telesu zahteve. Pretakanje deluje v obeh oblikah sklepanja in ne spremeni cen.

Antropik oddaja dogodke kot npr message_start, content_block_delta, in message_stop. OpenAI oddaja data: {...} koščke in konča z data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Naj bo povezava odprta in onemogočite povratno medpomnjenje posrednika. Zapiranje odjemalske povezave prekliče generiranje navzgor; že ustvarjena uporaba ostane plačljiva. glej Napake za ponovno poskusno vodenje.

Dokončanje in manjkajoča uporaba

HTTP 200 potrjuje, da se je tok začel, ne da je sklepanje končano. Napaka ponudnika ali prekinjen/skrajšan tok je v Uporabi prikazan kot neuspešen ali nepopoln. Dokončanje Chat Completions je zaključni razlog za vsako zahtevano izbiro oz [DONE]; Uporabe odzivov response.completed; Antropske uporabe message_stop. Ohranite ID zahteve in obravnavajte že prejete argumente besedila/orodja kot delne. Prehod te zahteve tiho ne ponovi.

Merodajna je uporaba, ki jo poroča ponudnik, vključno z ničelnimi ali delnimi števci. Potrjen uspešen besedilni tok brez uporabe lahko prejme eksplicitno označeno oceno na podlagi dekodiranih delta bajtov besedila/razumevanja/argumenta orodja, razen okvirjanja SSE/JSON; eksplicitne omejitve izhoda samo zgornja meja ocen. Prikazani so neuspeli ali nepodprti tokovi brez uporabe Uporaba neznana · potreben pregled in ne prejmejo samodejne obremenitve v bajtih. Neznano ni dokaz, da je bila izvedba ponudnika brezplačna. glej Napake.