Straumēšana

Iestatīt "stream": true pieprasījuma struktūrā. Straumēšana darbojas abos secinājumu formātos un nemaina cenas.

Antropiskais izstaro tādus notikumus kā message_start, content_block_delta, un message_stop. OpenAI izstaro data: {...} gabalos un beidz ar data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Saglabājiet savienojumu atvērtu un atspējojiet apgrieztā starpniekservera buferizāciju. Klienta savienojuma aizvēršana atceļ augšējo ģenerēšanu; par jau ģenerēto lietojumu joprojām ir jāmaksā. Skat Kļūdas lai mēģinātu vēlreiz.

Pabeigšana un trūkstošs lietojums

HTTP 200 apstiprina, ka straume ir sākusies, nevis secinājums ir pabeigts. Pakalpojumu sniedzēja kļūda vai pārtraukta/saīsināta straume sadaļā Lietošana tiek parādīta kā neizdevusies vai nepilnīga. Tērzēšanas pabeigšanas pabeigšana ir iemesls katrai pieprasītajai izvēlei vai [DONE]; Atbilžu lietojumi response.completed; Antropisks lietojums message_stop. Saglabājiet pieprasījuma ID un uzskatiet jau saņemto teksta/rīka argumentus kā daļējus. Vārteja klusībā neatkārto šo pieprasījumu.

Pakalpojumu sniedzēja ziņotais lietojums, tostarp nulles vai daļēji skaitītāji, ir autoritatīvs. Apstiprināta veiksmīga teksta straume bez lietošanas var saņemt skaidri iezīmētu aprēķinu, pamatojoties uz dekodētiem teksta/pamatojuma/rīka-argumenta delta baitiem, izņemot SSE/JSON kadrējumu; skaidriem izvades ierobežojumiem ir tikai aprēķini. Neveiksmīgas vai neatbalstītas straumes bez lietojuma rāda Lietošana nav zināma · Nepieciešama pārskatīšana un nesaņem automātisku baitu aprēķināto maksu. Nezināms nav pierādījums tam, ka pakalpojumu sniedzēja izpilde bija bezmaksas. Skat Kļūdas.