Voogesitus

Määra "stream": true taotluse organis. Voogesitus töötab mõlemas järeldusvormingus ega muuda hindu.

Anthropic kiirgab selliseid sündmusi nagu message_start, content_block_deltaja message_stop. OpenAI kiirgab data: {...} tükkideks ja lõpetab data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Hoidke ühendus avatud ja keelake pöördpuhverserveri puhverdus. Kliendiühenduse sulgemine tühistab ülesvoolu genereerimise; juba loodud kasutus jääb arveldatavaks. Vaata Vead uuesti proovimiseks.

Täiustatud ja puuduv kasutus

HTTP 200 kinnitab, et voog algas, mitte see, et järeldus on lõppenud. Pakkuja viga või katkenud/kärbitud voog kuvatakse jaotises Kasutus ebaõnnestunuks või mittetäielikuks. Vestluse lõpetamise lõpetamine on iga soovitud valiku või valiku lõpetamise põhjus [DONE]; Vastuste kasutusalad response.completed; Antroopsed kasutused message_stop. Hoidke päringu ID alles ja käsitlege juba vastuvõetud teksti/tööriista argumente osalistena. Värav ei korda seda taotlust vaikselt.

Pakkuja teatatud kasutus, sealhulgas null- või osaloendurid, on määrav. Kasutamata kinnitatud edukas tekstivoog võib saada selgesõnaliselt märgistatud hinnangu, mis põhineb dekodeeritud teksti/arutluskäigu/tööriistargumendi deltabaitidel, välja arvatud SSE/JSON-raamimine; ainult selgesõnaliste väljundpiirangute hinnangud. Ebaõnnestunud või toetamata voogesitus ilma kasutamiseta Kasutus teadmata · nõutav ülevaatus ja ei saa automaatset baithinnangulist tasu. Tundmatu ei ole tõend selle kohta, et teenusepakkuja täitmine oli tasuta. Vaata Vead.