Transmissió en directe

Set "stream": true al cos de la sol·licitud. La reproducció en temps real funciona en ambdós formats d'inferència i no canvia els preus.

Antròpic emet esdeveniments com ara message_start, content_block_delta, i message_stop. OpenAI emet data: {...} trossos i acaba amb data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Mantingueu la connexió oberta i desactiveu la memòria intermèdia del servidor intermediari invers. Tancar la connexió del client cancel·la la generació amunt; l'ús ja generat segueix sent facturable. Mireu Errors per tornar a intentar l'orientació.

Finalització i ús perdut

L'HTTP 200 confirma que el flux va començar, no que s'hagi acabat la inferència. Un error del proveïdor o un flux interromput/truncat es mostra com a fallat o incomplet a Ús. La finalització de les finalitzacions de xat és un motiu final per a cada elecció sol·licitada o [DONE]; Usos de respostes response.completed; Usos antròpics message_stop. Conserveu l'identificador de la sol·licitud i tracteu els arguments de text/eina ja rebuts com a parcials. La passarel·la no repeteix aquesta sol·licitud en silenci.

L'ús informat pel proveïdor, inclosos els comptadors zero o parcials, és autoritzat. Un flux de text confirmat amb èxit sense ús pot rebre una estimació etiquetada explícitament basada en bytes delta de text/raonament/argument d'eina descodificats, excloent el marc SSE/JSON; només les estimacions de límits explícits de sortida. Es mostren emissions fallides o no compatibles sense ús Ús desconegut · Cal revisió i no reben un càrrec automàtic estimat en bytes. Desconegut no és una prova que l'execució del proveïdor fos gratuïta. Mireu Errors.