Поточно предаване

Комплект "stream": true в тялото на заявката. Поточното предаване работи и в двата формата за изводи и не променя цените.

Anthropic излъчва събития като напр message_start, content_block_delta, и message_stop. OpenAI излъчва data: {...} хапки и завършва с data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Дръжте връзката отворена и деактивирайте обратното прокси буфериране. Затварянето на клиентската връзка отменя генерирането нагоре; вече генерираното използване остава таксувано. Вижте Грешки за насоки за повторен опит.

Завършване и липсващо използване

HTTP 200 потвърждава, че потокът е започнал, а не че изводът е приключил. Грешка на доставчика или прекъснат/скъсен поток се показва като неуспешен или непълен в Използване. Завършването на Chat Completions е крайна причина за всеки заявен избор или [DONE]; Отговори използва response.completed; Антропни употреби message_stop. Запазете ID на заявката и третирайте вече получените аргументи на текст/инструмент като частични. Шлюзът не повтаря тихо тази заявка.

Докладваното от доставчика използване, включително нулеви или частични броячи, е авторитетно. Потвърден успешен текстов поток без използване може да получи изрично обозначена оценка въз основа на декодирани делта байтове на текст/обосновка/аргумент на инструмент, с изключение на SSE/JSON кадриране; изрични ограничения на изхода ограничение само на оценки. Показват се неуспешни или неподдържани потоци без използване Неизвестна употреба · изисква се преглед и не получават автоматично таксуване в байтове. Unknown не е доказателство, че изпълнението на доставчика е било безплатно. Вижте Грешки.