Αξιόπιστη δρομολόγηση API LLM: Χρονικά όρια, επαναλήψεις και εναλλακτικές λύσεις μοντέλων χωρίς σημασιολογική παλινδρόμηση

Ένα εναλλακτικό αίτημα δεν είναι επιτυχές απλώς και μόνο επειδή ένα άλλο μοντέλο επέστρεψε το HTTP 200. Η αντικατάσταση μπορεί να υπερβαίνει τον αρχικό προϋπολογισμό καθυστέρησης, να παραλείψει τα απαιτούμενα πεδία JSON, να καλέσει ένα διαφορετικό εργαλείο ή να παράγει μια απάντηση με ουσιαστικά διαφορετική σημασιολογία. Επομένως, η αξιόπιστη δρομολόγηση API LLM απαιτεί περισσότερα από μια ταξινομημένη λίστα μοντέλων: απαιτεί σύμβαση, ταξινομητή αποτυχίας, πολιτική περιορισμένης προσπάθειας και επικύρωση πριν από την αποδοχή.

Ο κεντρικός κανόνας είναι απλός: επαναλάβετε μόνο όταν η αποτυχία είναι εύλογα προσωρινή και επιστρέψτε μόνο όταν η επόμενη διαδρομή μπορεί να ικανοποιήσει το αρχικό συμβόλαιο αιτήματος.

Καθορίστε το συμβόλαιο δρομολόγησης πριν επιλέξετε μοντέλα

Ξεκινήστε περιγράφοντας τι πρέπει να προσφέρει μια επιτυχημένη απάντηση. Αυτό το συμβόλαιο δρομολόγησης θα πρέπει να είναι αναγνώσιμο από μηχανή και να συνδέεται με κάθε φόρτο εργασίας ή τάξη αιτήματος.

{
  "φόρτος εργασίας": "εξαγωγή_τιμολογίου",
  "modalities": ["κείμενο", "εικόνα"],
  "max_input_tokens": 50000,
  "requires_tools": false,
  "structured_output": {
    "απαιτείται": αλήθεια,
    "schema_id": "invoice-v3",
    «αυστηρός»: αληθινός
  },
  "allowed_model_classes": ["document-extraction"],
  "max_cost_usd": 0,08,
  "deadline_ms": 8000
}

Η σύμβαση θα πρέπει να καλύπτει τις απαιτούμενες λεπτομέρειες, τη χωρητικότητα περιβάλλοντος, την υποστήριξη εργαλείων, τη συμπεριφορά δομημένης παραγωγής, τις αποδεκτές κατηγορίες μοντέλων, το μέγιστο κόστος και την προθεσμία από άκρο σε άκρο. Προσθέστε περιορισμούς για συγκεκριμένες εφαρμογές όπου χρειάζεται, όπως επιτρεπόμενες περιοχές, ελάχιστο μήκος εξόδου ή απαιτούμενο λόγο φινιρίσματος.

Σύσταση: να διατηρείτε ξεχωριστές, δοκιμασμένες ομάδες διαδρομών για απλού κειμένου, εξόδου με περιορισμούς σχήματος, χρήσης εργαλείου, όρασης και αιτημάτων μεγάλου πλαισίου. Ένα μοντέλο που είναι αποδεκτό εναλλακτικό κείμενο δεν είναι αυτόματα αποδεκτό εναλλακτικό για κλήση εργαλείου ή εισαγωγή εικόνας.

Ταξινομήστε την αποτυχία πριν προβείτε σε ενέργειες

Τα σφάλματα ελέγχου ταυτότητας, τα αιτήματα με λανθασμένη μορφή, τα όρια ρυθμών και οι αποτυχίες διακομιστή απαιτούν διαφορετικές απαντήσεις. Αντιμετώπιση κάθε μη επιτυχημένης απόκρισης ως επαναδοκιμήσιμης ικανότητας αποβλήτων και μπορεί να κρύψει ελαττώματα.

<πίνακας> Κλάση αποτυχίαςΠαραδείγματαΠροεπιλεγμένη ενέργεια Μόνιμη αποτυχία αιτήματοςΜη έγκυρα διαπιστευτήρια, εσφαλμένες παράμετροι, μη υποστηριζόμενη δυνατότηταΔιακοπή και επιστροφή σαφούς σφάλματος Ασυμβατότητα διαδρομήςΠολύ μεγάλο περιβάλλον, μη υποστηριζόμενη είσοδος εικόνας, μη διαθέσιμη λειτουργία σχήματοςΔοκιμάστε μόνο μια συμβατή διαδρομή Παροδική αποτυχία μεταφοράςΕπαναφορά σύνδεσης, αποτυχία DNS, επιλεγμένο χρονικό όριο λήξηςΕπανάληψη προσπάθειας εντός του προϋπολογισμού που απομένει Αποτυχία χωρητικότητας ή ποσοστούHTTP 429, υπερφορτωμένη υπηρεσία, επιλεγμένες αποκρίσεις 5xxΤιμήστε τις υποδείξεις επανάληψης ή χρησιμοποιήστε μια υγιή εναλλακτική λύση Μη έγκυρη επιτυχημένη απόκρισηΛανθασμένη μορφή JSON, άγνωστο εργαλείο, λείπει υποχρεωτικό πεδίοΑπορρίψτε και, στη συνέχεια, δοκιμάστε ξανά ή επιστρέψτε εάν το επιτρέπει η πολιτική Αμφισβήτητη εκτέλεσηΗ σύνδεση χάθηκε μετά την αποδοχή του αιτήματος από τον πάροχοΑφαίρεση διπλότυπων πριν από την επανάληψη

Γεγονός: τα ανεπιτυχή αιτήματα περιορισμένου ποσοστού μπορούν ακόμη να υπολογίζονται στα όρια παρόχου. Ως εκ τούτου, οι επιθετικές άμεσες επαναλήψεις ενδέχεται να εμβαθύνουν το γκάζι αντί να το επιλύσουν. Οι επαναλήψεις καταναλώνουν επίσης πρόσθετη χωρητικότητα κατά τη διάρκεια μιας διακοπής λειτουργίας και οι πολιτικές επανάληψης σε πολλά επίπεδα εφαρμογής μπορούν να πολλαπλασιάσουν το προκύπτον φορτίο.

Σύσταση: επιτρέψτε σε ένα επίπεδο να κατέχει τις επαναλήψεις της γενιάς του μοντέλου. Σε μια τυπική αρχιτεκτονική, η πύλη API AI είναι ο σωστός κάτοχος επειδή βλέπει την υγεία διαδρομής, το ιστορικό προσπαθειών, τον λανθάνοντα χρόνο και το κόστος. Απενεργοποιήστε τις αυτόματες επαναλήψεις σε πελάτες χαμηλότερου επιπέδου όπου είναι δυνατόν ή μετρήστε τις ρητά στον ίδιο προϋπολογισμό προσπάθειας.

Δαπανήστε έναν προϋπολογισμό λανθάνοντος χρόνου από άκρο σε άκρο

Τα χρονικά όρια ανά προσπάθεια είναι ανεπαρκή. Τρεις προσπάθειες με χρονικό όριο πέντε δευτερολέπτων μπορούν να μετατρέψουν μια προβλεπόμενη λειτουργία πέντε δευτερολέπτων σε απόκριση δεκαπέντε δευτερολέπτων, πριν συμπεριληφθούν η επιστροφή και η επικύρωση.

Καταγράψτε μια απόλυτη προθεσμία όταν το αίτημα εισέλθει στην πύλη. Πριν από κάθε προσπάθεια, υπολογίστε τον χρόνο που απομένει:

υπόλοιπο = προθεσμία - τρέχουσα_ώρα
απαιτείται = Connect_allowance + Generation_Allowance + validation_allowance
αν απομένει < απαιτείται:
    stop_without_launching_another_ttempt

Για μια προθεσμία οκτώ δευτερολέπτων, μια λογική αρχική κατανομή μπορεί να κρατήσει 300 ms για εργασία πύλης και τελική επικύρωση, να επιτρέψει έως και 4,5 δευτερόλεπτα για την κύρια διαδρομή και να διατηρήσει περίπου 3,2 δευτερόλεπτα για μία εναλλακτική. Αυτές οι τιμές αποτελούν παράδειγμα, όχι σημείο αναφοράς. Πρέπει να προέρχονται από μετρημένες κατανομές λανθάνοντος χρόνου για τους πραγματικούς παρόχους, μοντέλα, περιοχές και μεγέθη εξόδου.

Χρησιμοποιήστε περιορισμένο εκθετικό backoff με jitter για μεταβατικές επαναλήψεις:

καθυστέρηση = τυχαία(0, min(cap, base * 2^retry_index))

Οι υποδείξεις επανάληψης δοκιμής παρόχου, όπως μια τιμή επανάληψης δοκιμής, θα πρέπει να έχουν προτεραιότητα όταν ταιριάζουν εντός της υπολειπόμενης προθεσμίας. Σταματήστε μετά από μικρό αριθμό προσπαθειών. Μια κοινή πολιτική είναι μια κύρια προσπάθεια συν μια εναλλακτική, με μια προαιρετική επανάληψη της ίδιας διαδρομής μόνο για μια πρώιμη αποτυχία σύνδεσης που δεν θα μπορούσε να έχει δημιουργήσει χρεώσιμη έξοδο.

Εναλλαγή: η διαδοχική εναλλακτική βελτιώνει τη διαθεσιμότητα αλλά αυξάνει τον λανθάνοντα χρόνο. Τα παράλληλα ή αντισταθμισμένα αιτήματα μπορούν να μειώσουν τον λανθάνοντα χρόνο κατά τη διάρκεια της επιβράδυνσης, αλλά καταναλώνουν περισσότερη χωρητικότητα και ενδέχεται να επιβαρύνονται με χρεώσεις για πολλές επιτυχημένες γενιές. Η αντιστάθμιση πρέπει να περιορίζεται σε φόρτους εργασίας που είναι κρίσιμοι για καθυστέρηση, χωρίς παρενέργειες με ακυρώσεις και ελέγχους κόστους.

Επιλέξτε εναλλακτικές επιλογές βάσει ικανότητας και όχι κατάταξης

Ένας εναλλακτικός πίνακας θα πρέπει να κωδικοποιεί τη συμβατότητα και όχι μια καθολική σειρά προτιμήσεων. Φιλτράρετε τις υποψήφιες διαδρομές με βάση το συμβόλαιο προτού λάβετε υπόψη την κατάσταση, τον λανθάνοντα χρόνο ή την τιμή.

υποψήφιοι = διαδρομές
  .filter(supports_required_modalities)
  .filter(context_limit >= εκτιμώμενο_μέγεθος_εισόδου)
  .filter(supports_required_tools)
  .filter(supports_requested_schema_mode)
  .filter(model_class σε allow_model_classes)
  .filter(εκτιμώμενο_κόστος <= υπόλοιπο_κόστος_προϋπολογισμός)
  .filter(not_temporarily_suppressed)
επιλεγμένο = κατάταξη (υποψήφιοι, υγεία, καθυστέρηση, κόστος)

Η υποστήριξη δομημένης εξόδου αξίζει ρητή δοκιμή. Ακόμη και όταν δύο διαδρομές διαφημίζουν δημιουργία περιορισμένων σχημάτων, ενδέχεται να υποστηρίζουν διαφορετικά υποσύνολα JSON Schema ή να ερμηνεύουν διαφορετικά περιστατικά ακμών. Τα μοντέλα με δυνατότητα χρήσης εργαλείων μπορεί επίσης να διαφέρουν ως προς την επιλογή εργαλείου, την κατασκευή ορισμάτων και τη συμπεριφορά παράλληλης κλήσης.

Γεγονός: η αλλαγή των οικογενειών μοντέλων μπορεί να διατηρήσει τη διαθεσιμότητα μεταφοράς ενώ αλλάζει το στυλ, την ποιότητα συλλογιστικής, τη συμπεριφορά ασφαλείας, τη δημιουργία διακριτικών και την επιλογή εργαλείων. Η επιτυχία του HTTP δεν αποτελεί απόδειξη σημασιολογικής ισοδυναμίας.

Πρόβλεψη: καθώς οι κατάλογοι μοντέλων επεκτείνονται, οι πολιτικές δρομολόγησης παραγωγής θα χρησιμοποιούν όλο και περισσότερο προφίλ δυνατοτήτων και δοκιμές αποδοχής ειδικά για το φόρτο εργασίας αντί για στατικές λίστες μοντέλων. Αντιμετωπίστε αυτό ως κατεύθυνση σχεδιασμού, όχι ως εγγύηση για τη συμπεριφορά του παρόχου.

Επικυρώστε την απάντηση πριν την αποδεχτείτε

Εκτέλεση κάθε απάντησης, συμπεριλαμβανομένης της κύριας απόκρισης, μέσω του ίδιου αγωγού αποδοχής. Η επικύρωση θα πρέπει να πραγματοποιηθεί προτού το αποτέλεσμα αποθηκευτεί στην κρυφή μνήμη, χρεωθεί εσωτερικά ως επιτυχημένο ή μεταβιβαστεί σε έναν εκτελεστή εργαλείου.

1. Επιβεβαιώστε ότι η μεταφορά ολοκληρώθηκε και ο φάκελος απαντήσεων μπορεί να αναλυθεί.
2. Ελέγξτε τον λόγο τερματισμού και απορρίψτε την περικοπή όταν απαιτείται πλήρης έξοδος.
3. Επικυρώστε δομημένη έξοδο σε σχέση με το αρχικό σχήμα.
4. Επαληθεύστε τα απαιτούμενα πεδία, τις τιμές enum και τις αμετάβλητες εφαρμογές.
5. Να επιτρέπονται μόνο τα καταχωρημένα ονόματα εργαλείων και να επικυρώνονται ορίσματα έναντι κάθε σχήματος εργαλείου.
6. Εφαρμόστε σημασιολογικούς ελέγχους για συγκεκριμένο φόρτο εργασίας όπου η ψευδής αποδοχή θα ήταν δαπανηρή.

Για την εξαγωγή τιμολογίων, οι σημασιολογικοί έλεγχοι ενδέχεται να απαιτούν ένα μη αρνητικό σύνολο, έναν υποστηριζόμενο κωδικό νομίσματος και σύνολα στοιχείων γραμμής εντός μιας ρητά καθορισμένης ανοχής. Για ταξινόμηση, απαιτήστε μια ετικέτα από το επιτρεπόμενο σύνολο. Για τη δημιουργία κώδικα, η ανάλυση ή η μεταγλώττιση μπορεί να είναι κατάλληλη. Αυτοί οι έλεγχοι δεν αποδεικνύουν την ποιότητα, αλλά εμποδίζουν τις προβλέψιμες παραβιάσεις των συμβολαίων να αντιμετωπίζονται ως επιτυχίες.

Μην επιδιορθώνετε σιωπηλά κάθε λανθασμένη απόκριση. Η ντετερμινιστική κανονικοποίηση, όπως η αφαίρεση του αβλαβούς περιβάλλοντος κενού χώρου, μπορεί να είναι αποδεκτή. Η εικασία των χρηματοοικονομικών πεδίων που λείπουν ή η επανεγγραφή επιχειρημάτων εργαλείων αλλάζει το νόημα του μοντέλου και θα πρέπει να προκαλέσει απόρριψη ή ανθρώπινη αναθεώρηση.

Διαχωρίστε τις επαναλήψεις της γενιάς από τις παρενέργειες

Τα αιτήματα LLM χρησιμοποιούν συνήθως HTTP POST, το οποίο δεν είναι εγγενώς ανίσχυρο. Το πιο σημαντικό, μια απόκριση μοντέλου μπορεί να ξεκινήσει μια εξωτερική ενέργεια, όπως χρέωση μεθόδου πληρωμής, αποστολή μηνύματος, δημιουργία εισιτηρίου ή τροποποίηση υποδομής. Η νέα προσπάθεια δημιουργίας και η επανάληψη αυτής της ενέργειας είναι ξεχωριστές αποφάσεις.

Εκχωρήστε ένα αναγνωριστικό λειτουργίας στο όριο της εφαρμογής και ένα αναγνωριστικό προσπάθειας σε κάθε κλήση μοντέλου. Διατήρηση της κατάστασης εκτέλεσης του εργαλείου έναντι ενός ντετερμινιστικού κλειδιού, όπως:

execution_key = Operation_id + tool_name + canonical_arguments_hash

Πριν εκτελέσετε ένα εργαλείο, ελέγξτε εάν αυτό το κλειδί εκκρεμεί, ολοκληρώθηκε ή απέτυχε. Επιστρέψτε το αποθηκευμένο αποτέλεσμα για μια ολοκληρωμένη εκτέλεση αντί να το εκτελέσετε ξανά. Για λειτουργίες των οποίων τα επιχειρήματα ενδέχεται να αλλάξουν νόμιμα, απαιτείται έγκριση σε επίπεδο εφαρμογής ή νέο αναγνωριστικό λειτουργίας.

Ένα διφορούμενο χρονικό όριο απαιτεί ειδικό χειρισμό. Εάν η σύνδεση αποτύχει μετά τη μετάδοση ενός αιτήματος, η πύλη ενδέχεται να μην γνωρίζει εάν πραγματοποιήθηκε δημιουργία. Ένα κλειδί αδυναμίας που υποστηρίζεται από πάροχο μπορεί να βοηθήσει όταν είναι διαθέσιμο. Διαφορετικά, καταγράψτε το αποτέλεσμα ως άγνωστο και εφαρμόστε μια πολιτική επανάληψης για συγκεκριμένο φόρτο εργασίας αντί να υποθέσετε ότι δεν συνέβη τίποτα.

Αποτρέψτε τις ανθυγιεινές διαδρομές και αποκαλύψτε κάθε προσπάθεια

Ένας διακόπτης κυκλώματος ή προσωρινή καταστολή της υγείας εμποδίζει κάθε νέο αίτημα να ανακαλύπτει ξανά την ίδια αποτυχημένη διαδρομή. Ανοίξτε το κύκλωμα μετά από ένα καθορισμένο ποσοστό σφάλματος ή όριο διαδοχικής βλάβης και, στη συνέχεια, αποδεχτείτε περιορισμένους ανιχνευτές σε μισάνοιχτη κατάσταση. Συντονίστε τα κατώφλια ανά διαδρομή και κλάση αποτυχίας, ώστε ένα ακατάλληλο αίτημα πελάτη να μην μπορεί να κάνει ένα υγιές μοντέλο να φαίνεται μη διαθέσιμο.

Καταγραφή ενός συμβάντος σε επίπεδο αιτήματος και ενός συμβάντος ανά προσπάθεια. Τα χρήσιμα πεδία περιλαμβάνουν το αναγνωριστικό λειτουργίας, το αναγνωριστικό προσπάθειας, τον επιλεγμένο πάροχο και το μοντέλο, την κλάση αποτυχίας, τον κωδικό κατάστασης, τον λανθάνοντα χρόνο, τον αριθμό των διακριτικών, το εκτιμώμενο κόστος, τον εναλλακτικό λόγο, το αποτέλεσμα επικύρωσης, την κατάσταση κυκλώματος και το τελικό αποτέλεσμα. Διορθώστε ή κατακερματίστε τις προτροπές, τις εξόδους και τα ορίσματα εργαλείων σύμφωνα με τις απαιτήσεις ευαισθησίας και διατήρησης τους.

Οι χρήσιμες λειτουργικές μετρήσεις περιλαμβάνουν το ποσοστό επιστροφής, τις προσπάθειες ανά ολοκληρωμένο αίτημα, το ποσοστό εξάντλησης της προθεσμίας, το ποσοστό απόρριψης επικύρωσης, τα διφορούμενα αποτελέσματα, το κόστος ανά αποδεκτή απάντηση και τον λανθάνοντα χρόνο ανά τελική διαδρομή. Ένα αυξανόμενο ποσοστό επιτυχίας HTTP μαζί με ένα αυξανόμενο ποσοστό απόρριψης επικύρωσης είναι μια προειδοποίηση ότι η διαθεσιμότητα μεταφοράς συγκαλύπτει τις αποτυχίες του συμβολαίου.

Λίστα ελέγχου διάθεσης παραγωγής

• Καθορίστε ένα συμβόλαιο δρομολόγησης με έκδοση για κάθε κατηγορία φόρτου εργασίας.
• Τα σφάλματα παρόχου χαρτών αντιστοιχίζονται σε μόνιμες, παροδικές, μη συμβατές, μη έγκυρες απόκρισης και διφορούμενες κατηγορίες.
• Επιλέξτε έναν κάτοχο επανάληψης και περιορίστε τις συνολικές προσπάθειες.
• Διαδώστε μια απόλυτη προθεσμία μέσω της πύλης, του πελάτη παρόχου, της επικύρωσης και της εκτέλεσης του εργαλείου.
• Δημιουργήστε εναλλακτικές ομάδες δοκιμασμένων δυνατοτήτων αντί για μια παγκόσμια αλυσίδα μοντέλων.
• Επικυρώστε σχήματα, κλήσεις εργαλείων, λόγους τερματισμού και αμετάβλητες τομέα.
• Απαλοιφή των παρενεργειών με τα κλειδιά λειτουργίας και εκτέλεσης.
• Προσθέστε καταστολή διαδρομής με περιορισμένους μισάνοιχτους ανιχνευτές.
• Καταγραφή λανθάνοντος χρόνου σε επίπεδο προσπάθειας, διακριτικών, κόστους, αποτυχιών και αποτελεσμάτων αποδοχής.
• Χρονικά όρια εισαγωγής, 429 δευτερόλεπτα, επιλεγμένα σφάλματα 5xx, λανθασμένη μορφή JSON, υπερχείλιση περιβάλλοντος και αργές επιτυχίες στη σταδιοποίηση.

Ξεκινήστε με μια κύρια διαδρομή και μια συμβατή εναλλακτική λύση για έναν μεμονωμένο φόρτο εργασίας χαμηλού κινδύνου. Συγκρίνετε την ποιότητα αποδεκτής απόκρισης, τον λανθάνοντα χρόνο και το κόστος προτού επεκτείνετε την πολιτική. Ο στόχος δεν είναι το υψηλότερο δυνατό εφεδρικό ποσοστό. Είναι ένα περιορισμένο σύστημα που είτε επιστρέφει μια απάντηση που ικανοποιεί το αρχικό συμβόλαιο είτε αποτυγχάνει ξεκάθαρα προτού προκαλέσει διπλό έργο ή σημασιολογική βλάβη.

Σχετική ανάγνωση

• προηγούμενη δοκιμή API όχι. href="https://model-gate.com/en/blog/article-1-1/">προηγούμενο άρθρο στην αγγλική γλώσσα