Потоковое вещание

Набор "stream": true в теле запроса. Потоковая передача работает в обоих форматах вывода и не меняет цены.

Антропный излучает такие события, как message_start, content_block_delta, и message_stop. OpenAI излучает data: {...} куски и заканчивается data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Оставьте соединение открытым и отключите буферизацию обратного прокси. Закрытие клиентского соединения отменяет генерацию восходящего потока; уже сгенерированное использование остается платным. Видеть Ошибки для руководства по повторной попытке.

Завершение и недостающее использование

HTTP 200 подтверждает, что поток начался, а не завершен вывод. Ошибка поставщика или прерванный/обрезанный поток отображается как сбойный или неполный в разделе «Использование». Завершение завершения чата является завершающей причиной для каждого запрошенного выбора или [DONE]; Ответы используют response.completed; Антропное использование message_stop. Сохраните идентификатор запроса и рассматривайте уже полученные аргументы текста/инструмента как частичные. Шлюз не повторяет этот запрос молча.

Использование, сообщаемое поставщиком, включая нулевые или частичные счетчики, является авторитетным. Подтвержденный успешный текстовый поток без использования может получить явно помеченную оценку на основе декодированных байтов дельты текста/рассуждений/аргументов инструмента, исключая кадрирование SSE/JSON; явные ограничения на выпуск только оценочные. Неудачные или неподдерживаемые потоки без использования показываются Использование неизвестно · требуется проверка и не получать автоматический расчетный счет в байтах. Неизвестно не является доказательством того, что исполнение провайдера было бесплатным. Видеть Ошибки.