Streaming

Ensemble "stream": true dans le corps de la demande. Le streaming fonctionne dans les deux formats d'inférence et ne modifie pas les prix.

Anthropic émet des événements tels que message_start, content_block_delta, et message_stop. OpenAI émet data: {...} morceaux et se termine par data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Gardez la connexion ouverte et désactivez la mise en mémoire tampon du proxy inverse. La fermeture de la connexion client annule la génération en amont ; les usages déjà générés restent facturables. Voir Erreurs pour obtenir des conseils sur la nouvelle tentative.

Achèvement et utilisation manquante

HTTP 200 confirme que le flux a commencé, et non que l'inférence est terminée. Une erreur du fournisseur ou un flux interrompu/tronqué est affiché comme ayant échoué ou incomplet dans Utilisation. L'achèvement des discussions de chat est une raison de fin pour chaque choix demandé ou [DONE]; Utilisations des réponses response.completed; Utilisations anthropiques message_stop. Conservez l'ID de la demande et traitez les arguments texte/outil déjà reçus comme partiels. La passerelle ne répète pas silencieusement cette demande.

L'utilisation signalée par le fournisseur, y compris les compteurs nuls ou partiels, fait autorité. Un flux de texte confirmé et réussi sans utilisation peut recevoir une estimation explicitement étiquetée basée sur les octets delta de texte/raisonnement/argument d'outil décodés, à l'exclusion du cadrage SSE/JSON ; les limites de production explicites plafonnent uniquement les estimations. Flux ayant échoué ou non pris en charge sans affichage d'utilisation Utilisation inconnue · évaluation requise et ne recevez pas de frais automatiques estimés en octets. L'inconnu ne prouve pas que l'exécution du fournisseur était gratuite. Voir Erreurs.