Transmisión

Colocar "stream": true en el cuerpo de la solicitud. La transmisión funciona en ambos formatos de inferencia y no cambia el precio.

Antrópico emite eventos como message_start, content_block_delta, y message_stop. OpenAI emite data: {...} trozos y acabados con data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Mantenga la conexión abierta y desactive el almacenamiento en búfer de proxy inverso. Cerrar la conexión del cliente cancela la generación ascendente; el uso ya generado sigue siendo facturable. Ver Errores para obtener orientación sobre el reintento.

Finalización y uso faltante

HTTP 200 confirma que la transmisión comenzó, no que la inferencia terminó. Un error del proveedor o una transmisión interrumpida/truncada se muestran como fallidos o incompletos en Uso. La finalización de las finalización del chat es un motivo de finalización para cada opción solicitada o [DONE]; Usos de las respuestas response.completed; Usos antrópicos message_stop. Mantenga el ID de la solicitud y trate los argumentos de texto/herramienta ya recibidos como parciales. La puerta de enlace no repite silenciosamente esta solicitud.

El uso informado por el proveedor, incluidos los contadores nulos o parciales, tiene autoridad. Un flujo de texto exitoso confirmado sin uso puede recibir una estimación explícitamente etiquetada basada en bytes delta de texto/razonamiento/argumento de herramienta decodificados, excluyendo el marco SSE/JSON; Límites explícitos de producción únicamente estimaciones de tope. Transmisiones fallidas o no compatibles sin mostrar uso Uso desconocido · revisión requerida y no reciba un cargo automático estimado en bytes. Lo desconocido no es prueba de que la ejecución del proveedor fuera gratuita. Ver Errores.