Transmisja strumieniowa

Ustawić "stream": true w treści żądania. Przesyłanie strumieniowe działa w obu formatach wnioskowania i nie powoduje zmiany cen.

Anthropic emituje zdarzenia takie jak message_start, content_block_delta, I message_stop. OpenAI emituje data: {...} kawałki i kończy data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Pozostaw połączenie otwarte i wyłącz buforowanie zwrotnego proxy. Zamknięcie połączenia klienta anuluje generowanie upstream; już wygenerowane zużycie pozostaje płatne. Widzieć Błędy w celu uzyskania wskazówek dotyczących ponownej próby.

Kompletacja i brak użycia

HTTP 200 potwierdza rozpoczęcie strumienia, a nie zakończenie wnioskowania. Błąd dostawcy lub przerwany/obcięty strumień są wyświetlane jako zakończone niepowodzeniem lub niekompletne w sekcji Użycie. Ukończenie czatu jest powodem zakończenia każdego żądanego wyboru lub [DONE]; Odpowiedzi wykorzystuje response.completed; Zastosowania antropiczne message_stop. Zachowaj identyfikator żądania i traktuj już otrzymane argumenty tekstowe/narzędziowe jako częściowe. Brama nie powtarza dyskretnie tego żądania.

Użycie zgłoszone przez dostawcę, w tym liczniki zerowe lub częściowe, jest miarodajne. Potwierdzony pomyślny strumień tekstu bez użycia może otrzymać wyraźnie oznakowane oszacowanie na podstawie zdekodowanych bajtów delta tekstu/rozumowania/argumentu narzędzia, z wyłączeniem ramek SSE/JSON; wyłącznie szacunki dotyczące wyraźnych limitów produkcji. Nieudane lub nieobsługiwane strumienie bez pokazu użycia Zastosowanie nieznane · wymagana recenzja i nie otrzymasz automatycznej opłaty szacowanej w bajtach. Nieznane nie jest dowodem na to, że wykonanie dostawcy było bezpłatne. Widzieć Błędy.