Стреаминг

Сет "stream": true у органу захтева. Streaming works in both inference formats and does not change pricing.

Антропски емитује догађаје као нпр message_start, content_block_delta, и message_stop. ОпенАИ емитује data: {...} комаде и завршава са data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Оставите везу отвореном и онемогућите баферовање обрнутог проксија. Затварање клијентске везе поништава узводно генерисање; већ генерисано коришћење остаје наплативо. Видите Грешке за упутства за поновни покушај.

Завршетак и употреба која недостаје

ХТТП 200 потврђује да је стрим почео, а не да је закључак завршен. Грешка добављача или прекинут/скраћени ток приказани су као неуспели или непотпуни у Употреби. Завршетак ћаскања је крајњи разлог за сваки тражени избор или [DONE]; Одговори користи response.completed; Антропске употребе message_stop. Задржите ИД захтева и третирајте већ примљене аргументе текста/алатке као делимичне. Гатеваи не понавља овај захтев тихо.

Употреба коју је пријавио провајдер, укључујући нулте или делимичне бројаче, је меродавна. Потврђен успешан текстуални ток без употребе може добити експлицитно означену процену засновану на декодираним делта бајтовима текста/резоновања/аргумента алата, искључујући ССЕ/ЈСОН оквир; експлицитне границе излаза само процене ограничења. Приказују се неуспели или неподржани стримови без употребе Употреба непозната · потребан је преглед и не примају аутоматску процењену наплату у бајтовима. Непознато није доказ да је извршење провајдера било бесплатно. Види Грешке.