Streaming

Impostato "stream": true nel corpo della richiesta. Lo streaming funziona in entrambi i formati di inferenza e non modifica i prezzi.

Anthropic emette eventi come message_start, content_block_delta, E message_stop. OpenAI emette data: {...} pezzi e finisce con data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Mantieni la connessione aperta e disabilita il buffering del proxy inverso. La chiusura della connessione client annulla la generazione upstream; l'utilizzo già generato rimane fatturabile. Vedere Errori per indicazioni sui nuovi tentativi.

Completamento e utilizzo mancante

HTTP 200 conferma che il flusso è iniziato, non che l'inferenza è terminata. Un errore del provider o un flusso interrotto/troncato viene visualizzato come non riuscito o incompleto in Utilizzo. Il completamento dei Completamenti chat è un motivo finale per ogni scelta richiesta o [DONE]; Usi delle risposte response.completed; Usi antropici message_stop. Mantieni l'ID della richiesta e tratta gli argomenti di testo/strumento già ricevuti come parziali. Il gateway non ripete silenziosamente questa richiesta.

L'utilizzo segnalato dal provider, inclusi i contatori pari a zero o parziali, è autorevole. Un flusso di testo confermato con successo senza utilizzo può ricevere una stima esplicitamente etichettata in base ai delta byte di testo/ragionamento/argomento strumento decodificati, escluso il framing SSE/JSON; limiti di produzione espliciti solo stime limite. Stream non riusciti o non supportati senza visualizzazione dell'utilizzo Utilizzo sconosciuto · revisione richiesta e non ricevi un addebito automatico stimato in byte. Sconosciuto non è una prova che l'esecuzione del provider sia stata gratuita. Vedere Errori.