Ροή

Σειρά "stream": true στο σώμα του αιτήματος. Η ροή λειτουργεί και στις δύο μορφές συμπερασμάτων και δεν αλλάζει την τιμολόγηση.

Το Anthropic εκπέμπει γεγονότα όπως message_start, content_block_delta, και message_stop. Το OpenAI εκπέμπει data: {...} κομμάτια και τελειώνει με data: [DONE].

from openai import OpenAI
client = OpenAI(api_key="mg_live_...", base_url="https://api.model-gate.com/v1")
stream = client.chat.completions.create(model="claude-opus-4.8", messages=[{"role":"user","content":"Hello"}], stream=True)
for chunk in stream:
    text = chunk.choices[0].delta.content
    if text:
        print(text, end="", flush=True)

Διατηρήστε τη σύνδεση ανοιχτή και απενεργοποιήστε την προσωρινή μνήμη αντίστροφου διακομιστή μεσολάβησης. Το κλείσιμο της σύνδεσης πελάτη ακυρώνει τη δημιουργία ανάντη. Η χρήση που έχει ήδη δημιουργηθεί παραμένει χρεώσιμη. Βλέπω Σφάλματα για επανάληψη καθοδήγησης.

Ολοκλήρωση και έλλειψη χρήσης

Το HTTP 200 επιβεβαιώνει ότι η ροή ξεκίνησε και όχι ότι το συμπέρασμα ολοκληρώθηκε. Ένα σφάλμα παρόχου ή μια διακοπτόμενη/περικομμένη ροή εμφανίζεται ως αποτυχία ή μη ολοκληρωμένη στη Χρήση. Η ολοκλήρωση των ολοκληρώσεων συνομιλίας είναι ένας λόγος τερματισμού για κάθε ζητούμενη επιλογή ή [DONE]; Χρήσεις απαντήσεων response.completed; Ανθρωπολογικές χρήσεις message_stop. Διατηρήστε το αναγνωριστικό αιτήματος και αντιμετωπίστε τα ήδη ληφθέντα ορίσματα κειμένου/εργαλείου ως επιμέρους. Η πύλη δεν επαναλαμβάνει σιωπηλά αυτό το αίτημα.

Η χρήση που αναφέρεται από τον πάροχο, συμπεριλαμβανομένων μηδενικών ή μερικών μετρητών, είναι έγκυρη. Μια επιβεβαιωμένη επιτυχημένη ροή κειμένου χωρίς χρήση μπορεί να λάβει μια εκτίμηση με ρητή ετικέτα βάσει αποκωδικοποιημένων δέλτα byte κειμένου/συλλογισμού/εργαλείων-επιχειρήματος, εξαιρουμένου του πλαισίου SSE/JSON. ρητές μόνο εκτιμήσεις ανώτατων ορίων παραγωγής. Εμφάνιση αποτυχημένων ή μη υποστηριζόμενων ροών χωρίς χρήση Άγνωστη χρήση · απαιτείται έλεγχος και δεν λαμβάνετε αυτόματη χρέωση βάσει byte. Άγνωστο δεν είναι απόδειξη ότι η εκτέλεση του παρόχου ήταν δωρεάν. Βλέπω Σφάλματα.