Akış

Ayarlamak "stream": true istek gövdesinde. Akış her iki çıkarım biçiminde de çalışır ve fiyatlandırmayı değiştirmez.

Antropik aşağıdaki gibi olayları yayar: message_start, content_block_delta, Ve message_stop. OpenAI yayar data: {...} parçalar ve bitirir data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Bağlantıyı açık tutun ve ters proxy arabelleğe almayı devre dışı bırakın. İstemci bağlantısının kapatılması yukarı akış oluşturmayı iptal eder; Halihazırda oluşturulmuş kullanım faturalandırılabilir durumda kalır. Görmek Hatalar rehberliği yeniden denemek için.

Tamamlanma ve eksik kullanım

HTTP 200, çıkarımın bittiğini değil, akışın başladığını doğrular. Bir sağlayıcı hatası veya kesintiye uğrayan/kesilen akış, Kullanım'da başarısız veya eksik olarak gösteriliyor. Sohbet Tamamlamalarının tamamlanması, istenen her seçim veya [DONE]; Yanıt kullanımları response.completed; Antropik kullanımlar message_stop. İstek kimliğini saklayın ve önceden alınan metin/araç bağımsız değişkenlerini kısmi olarak değerlendirin. Ağ geçidi bu isteği sessizce tekrarlamaz.

Sıfır veya kısmi sayaçlar da dahil olmak üzere sağlayıcı tarafından bildirilen kullanım yetkilidir. Kullanılmadan onaylanmış başarılı bir metin akışı, SSE/JSON çerçevelemesi hariç, kodu çözülmüş metin/akıl yürütme/araç-argüman delta baytlarına dayalı olarak açıkça etiketlenmiş bir tahmin alabilir; açık çıktı limitleri yalnızca üst sınır tahminleri. Kullanım gösterilmeyen başarısız veya desteklenmeyen akışlar Kullanımı bilinmiyor · inceleme gerekli ve otomatik bayt tahminli ücret almazsınız. Bilinmeyen, sağlayıcının yürütülmesinin ücretsiz olduğunun kanıtı değildir. Görmek Hatalar.