Το Cloudflare άλλαξε ένα απίθανο αλλά σημαντικό μέρος της πύλης AI: τι συμβαίνει όταν ένας πάροχος τεχνητής νοημοσύνης στο παρελθόν απορρίπτει ένα διαπιστευτήριο πελάτη.
Σύμφωνα με το αρχείο καταγραφής αλλαγών AI Gateway του Cloudflare, το POST /ai/run επιστρέφει πλέον πιο συνεπείς απαντήσεις όταν ένας πάροχος αρνείται τα διαπιστευτήρια. Το πιο συγκεκριμένο παράδειγμα είναι το Google Vertex. Τα διαπιστευτήρια Vertex που έχουν απορριφθεί που παρήγαγαν προηγουμένως μια απόκριση HTTP 500, με επαναλήψεις προς τα πάνω, τώρα επιστρέφουν το HTTP 401 με κωδικό σφάλματος Cloudflare 2009. Το Cloudflare λέει ότι οι εφαρμογές πρέπει να ερμηνεύουν το HTTP 401 ως μη έγκυρο ή απορριφθέν διαπιστευτήριο παρόχου. Αντίθετα, μια απόρριψη παρόχου στους χάρτες Ενοποιημένης χρέωσης που διαχειρίζεται το Cloudflare αντιστοιχεί στο HTTP 503.
Ακούγεται σαν μια περιορισμένη ενημέρωση συμβολαίου σφάλματος. Για τις ομάδες που λειτουργούν πύλες AI, είναι κάτι περισσότερο από αυτό. Ένα κακό κλειδί παρόχου δεν πρέπει να αντιμετωπίζεται ως παροδικό σφάλμα υποδομής. Όταν συμβαίνει, οι εφαρμογές επαναλαμβάνουν την εργασία που δεν μπορούν να επιτύχουν, τα εναλλακτικά συστήματα ενδέχεται να μετατοπίσουν την επισκεψιμότητα για λάθος λόγο και οι ομάδες υποστήριξης πελατών πρέπει να διαχωρίσουν τις αποτυχίες ελέγχου ταυτότητας από την αστάθεια του παρόχου εκ των υστέρων.
Τι άλλαξε στο συμβόλαιο πύλης
Η αλλαγή τυποποιεί μια διάκριση που έχει σημασία στην παραγωγή: ποιος μπορεί να διορθώσει την αποτυχία.
Εάν ένας χρήστης φέρει το δικό του κλειδί παρόχου και αυτό το κλειδί δεν είναι έγκυρο, έχει ανακληθεί, έχει λήξει, δεν έχει τα σωστά δικαιώματα έργου ή έχει απορριφθεί από τον πάροχο, ο πελάτης ή ο διαχειριστής της πλατφόρμας πρέπει να επιδιορθώσει τα διαπιστευτήρια. Η επιστροφή του 401 το κάνει ορατό. Λέει στην εφαρμογή ότι ο έλεγχος ταυτότητας απέτυχε στα όρια του παρόχου και ότι οι τυφλές επαναλήψεις είναι απίθανο να βοηθήσουν.
Προηγουμένως, τουλάχιστον για τα διαπιστευτήρια Google Vertex που απορρίφθηκαν, το Cloudflare λέει ότι η αποτυχία θα μπορούσε να εμφανιστεί ως HTTP 500 και να ενεργοποιήσει επαναλήψεις προς τα πάνω. Μια απόκριση 500 συνήθως σημαίνει αποτυχία από την πλευρά του διακομιστή ή πρόβλημα ανοδικής ροής που μπορεί να λυθεί από μόνο του. Πολλές βιβλιοθήκες πελατών και περιτυλίγματα πυλών αντιμετωπίζουν αυτήν την κατηγορία σφάλματος ως επαναδοκιμήσιμη. Στην κυκλοφορία τεχνητής νοημοσύνης, αυτό μπορεί να είναι ακριβό, επειδή τα αιτήματα μπορεί να περιλαμβάνουν μεγάλες προτροπές, περιβάλλον εργαλείων ή μαζική εργασία μεγάλου όγκου.
Ο νέος διαχωρισμός διευκρινίζει επίσης τη συμπεριφορά της Ενοποιημένης χρέωσης. Το Cloudflare λέει την απόρριψη του παρόχου στους χάρτες Ενοποιημένης χρέωσης στο HTTP 503. Αυτό διατηρεί το σφάλμα στην οικογένεια διαθεσιμότητας υπηρεσιών, αντί να το παρουσιάζει ως το βασικό πρόβλημα του ίδιου του πελάτη. Για λογισμικό που υποστηρίζει κίνηση με χρέωση φέρνοντας το δικό σας κλειδί και πύλη, αυτή η διάκριση θα πρέπει να διαμορφώνει τόσο τους κανόνες επανάληψης όσο και τα μηνύματα που αντιμετωπίζουν οι χρήστες.
Γιατί έχει σημασία για την BYOK και τα προϊόντα μεταπώλησης
Η ενημέρωση προσγειώνεται σε μια αγορά όπου περισσότερες πλατφόρμες τεχνητής νοημοσύνης συνδυάζουν την πρόσβαση με χρέωση πύλης με τα διαπιστευτήρια που παρέχονται από τους πελάτες. Μια πύλη πολυμοντέλων API για ομάδες μπορεί να δρομολογήσει ένα αίτημα μέσω ενός λογαριασμού πλατφόρμας, ένα άλλο μέσω του κλειδιού OpenAI ενός πελάτη και ένα τρίτο μέσω ενός έργου Google Cloud που ελέγχεται από έναν εταιρικό αγοραστή. Ο κωδικός κατάστασης HTTP είναι συχνά το πρώτο σήμα που βλέπει το επίπεδο ελέγχου όταν κάτι πάει στραβά.
Για τις ροές εργασίας BYOK, η αντιμετώπιση της απόρριψης διαπιστευτηρίων παρόχου ως 401 επιτρέπει μια καθαρότερη λειτουργική διαδρομή. Ο πίνακας εργαλείων μπορεί να επισημάνει ένα διαπιστευτήριο ως απορριφθέν, να θέσει σε παύση μόνο τη διαδρομή που επηρεάζεται, να ειδοποιήσει τον σωστό κάτοχο και να αποφύγει τη δαπάνη του προϋπολογισμού επανάληψης για ένα αίτημα που θα αποτύχει ξανά. Βοηθά επίσης να διαχωριστεί η υγιεινή των κλειδιών από τη διαθεσιμότητα του μοντέλου. Ένα ανακλημένο διαπιστευτήριο Vertex δεν είναι το ίδιο περιστατικό με μια διακοπή παροχής υπηρεσιών ή ένα συμβάν ορίου ποσοστού.
Οι πλατφόρμες μεταπωλητών και συνεργατών έχουν παρόμοιο πρόβλημα, αλλά με περισσότερες συνέπειες για τους πελάτες. Μια AI API πλατφόρμα μεταπωλητών μπορεί να διαχειρίζεται κλειδιά, κατάσταση χρέωσης και διαδρομές παρόχου για πολλούς μεταγενέστερους πελάτες. Εάν τα διαπιστευτήρια που απορρίφθηκαν μοιάζουν με γενικά σφάλματα διακομιστή, οι ομάδες υποστήριξης μπορεί να αναφέρουν τη λάθος βασική αιτία, να αποτύχουν σε μια πιο ακριβή διαδρομή ή να απορροφήσουν κόστος που θα έπρεπε να είχε αποδοθεί σε εσφαλμένη διαμόρφωση διαπιστευτηρίων ενός πελάτη.
Επομένως, η πρακτική αλλαγή δεν αφορά μόνο την ανάλυση σφαλμάτων. Οι χειριστές θα πρέπει να επανεξετάσουν τις πολιτικές επανάληψης δοκιμής, τις ετικέτες ειδοποιήσεων, το αντίγραφο του πίνακα εργαλείων και την ταξινόμηση συμβάντων. Ένα 401 από τη διαδρομή πύλης θα πρέπει γενικά να σταματήσει τις αυτόματες επαναλήψεις του παρόχου και να μεταφέρει το ζήτημα σε αποκατάσταση διαπιστευτηρίων. Μια 503 υπό διαχειριζόμενη χρέωση ενδέχεται να εξακολουθεί να εγγυάται ελέγχους υγείας από παρόχου, λογική ανακατεύθυνσης ή περιστατικό σελίδας κατάστασης, ανάλογα με την αρχιτεκτονική του προϊόντος.
Τι πρέπει να ενημερώσουν οι προγραμματιστές
Οι προγραμματιστές που χρησιμοποιούν το Cloudflare AI Gateway θα πρέπει να ελέγχουν οποιαδήποτε λογική πελάτη που χειρίζεται αποτυχίες παρόχου μέσω ευρειών κλάσεων HTTP. Εάν οι απαντήσεις 401 αντιμετωπίζονται επί του παρόντος μόνο ως προβλήματα με διακριτικό πύλης, αυτός ο κωδικός μπορεί να χρειαστεί να κάνει διάκριση μεταξύ των διαπιστευτηρίων Cloudflare της εφαρμογής και των διαπιστευτηρίων παρόχου ανάντη που αντιπροσωπεύεται από τον κωδικό σφάλματος Cloudflare 2009.
Οι ομάδες θα πρέπει επίσης να ελέγχουν την εναλλακτική δρομολόγηση. Η εναλλακτική λύση είναι χρήσιμη όταν ένας πάροχος δεν είναι διαθέσιμος, υπερφορτωμένος ή εκτός στόχου λανθάνοντος χρόνου. Είναι πιο επικίνδυνο όταν η αρχική αποτυχία είναι πρόβλημα διαπιστευτηρίων πελάτη. Η αυτόματη μετατόπιση της κυκλοφορίας από μια διαδρομή BYOK που έχει απορριφθεί σε μια διαδρομή με χρέωση πλατφόρμας μπορεί να δημιουργήσει απροσδόκητες χρεώσεις, παραβάσεις πολιτικής ή αλλαγές στη διαχείριση δεδομένων. Τα προϊόντα με ενοποιημένη τεχνητή νοημοσύνη API χρέωση πρέπει να καταστήσουν σαφή αυτή τη συμπεριφορά.
Τα εργαλεία υποστήριξης θα πρέπει επίσης να γίνουν πιο ακριβή. Μια χρήσιμη κατάσταση του πίνακα εργαλείων μπορεί να λέει ότι ένας πάροχος απέρριψε τα διαμορφωμένα διαπιστευτήρια, να προσδιορίσει τη διαδρομή παρόχου που επηρεάστηκε και να δείξει τον χρόνο τελευταίας αποτυχίας. Αυτό είναι πιο αποτελεσματικό από ένα γενικό σφάλμα ανάντη. Για εταιρικούς πελάτες, τα αρχεία καταγραφής ελέγχου θα πρέπει να διατηρούν τον κωδικό κατάστασης, τον πάροχο, την αναφορά διαπιστευτηρίων και την απόφαση δρομολόγησης, ώστε οι ομάδες να μπορούν να εξηγούν εάν ένα αίτημα απέτυχε, δοκιμάστηκε ξανά ή μετακινήθηκε σε άλλη διαδρομή χρέωσης.
Τι παραμένει αβέβαιο
Το αρχείο καταγραφής αλλαγών του Cloudflare προσδιορίζει το Google Vertex ως μια συγκεκριμένη διορθωμένη περίπτωση και ονομάζει ElevenLabs στο ευρύτερο πλαίσιο διαπιστευτηρίων παρόχου, αλλά η δημόσια σημείωση δεν διαβάζεται ως πλήρης πίνακας κάθε παρόχου και κάθε πιθανή αποτυχία διαπιστευτηρίων. Οι χειριστές πυλών θα πρέπει να δοκιμάζουν τους παρόχους στους οποίους βασίζονται αντί να υποθέτουν ότι όλα τα σενάρια απορριφθέντος κλειδιού συμπεριφέρονται πλέον πανομοιότυπα.
Υπάρχει επίσης μια ερώτηση σχεδιασμού προϊόντων για πλατφόρμες που έχουν κατασκευαστεί πάνω από το AI Gateway: πόσο από το λεξιλόγιο σφαλμάτων του Cloudflare θα πρέπει να εκτίθεται στους τελικούς πελάτες; Οι ακατέργαστοι κώδικες είναι χρήσιμοι για προγραμματιστές, αλλά οι πύλες μεταπωλητών χρειάζονται συχνά μια πιο ανθεκτική κατηγορία που απευθύνεται σε πελάτες, όπως "απορρίφθηκε διαπιστευτήριο παρόχου", ξεχωριστά από "μη διαθέσιμη χρέωση πύλης" ή "προσωρινά μη διαθέσιμος πάροχος".
Η μεγαλύτερη κατεύθυνση είναι ξεκάθαρη. Οι πύλες τεχνητής νοημοσύνης δεν είναι πλέον απλοί διαβιβαστές μεσολάβησης για κλήσεις μοντέλων. Είναι επίπεδα ελέγχου πολιτικής και χρέωσης και οι μικρές διαφορές στη σημασιολογία σφαλμάτων μπορούν να αποφασίσουν εάν ένα σύστημα επαναλαμβάνει, αποτύχει, χρεώνει έναν πελάτη ή ζητά από έναν διαχειριστή να επανασυνδέσει έναν λογαριασμό παρόχου.