Το Cloudflare πρόσθεσε ένα μικρό αλλά σημαντικό στοιχείο ελέγχου στο AI Gateway: οι ομάδες μπορούν πλέον να απαιτούν διαπιστευτήρια παρόχου τρίτων προτού επιτραπεί η εκτέλεση ενός αιτήματος. Εάν η πύλη δεν βρει ισχύοντα διαπιστευτήρια, το αίτημα αποτυγχάνει με το HTTP 400 αντί να επιστρέψει στην Ενοποιημένη χρέωση που διαχειρίζεται το Cloudflare.
Αυτό αλλάζει την πρακτική έννοια του φέρτε το κλειδί σας ή το BYOK. Μέχρι τώρα, ένα κλειδί παρόχου που λείπει θα μπορούσε να είναι ένα πρόβλημα διαμόρφωσης που παρείχε μια επιτυχημένη κλήση μοντέλου, αλλά σε διαφορετική διαδρομή χρέωσης. Με τη νέα ρύθμιση, τα διαπιστευτήρια που λείπουν γίνονται σκληρή παραβίαση πολιτικής. Για οργανισμούς που διαχωρίζουν τους λογαριασμούς μοντέλων που ανήκουν σε πελάτες από την κίνηση που χρεώνεται κεντρικά, αυτή η διάκριση έχει μεγαλύτερη σημασία από ό,τι υποδηλώνει ο κωδικός κατάστασης.
Τι άλλαξε
Η ενημέρωση της 14ης Σεπτεμβρίου του Cloudflare προσθέτει δύο τρόπους για την επιβολή της νέας συμπεριφοράς. Σε επίπεδο πύλης, οι διαχειριστές μπορούν να ενεργοποιήσουν μια ρύθμιση byok_only. Κατά τη στιγμή του αιτήματος, οι καλούντες μπορούν να στείλουν την κεφαλίδα cf-aig-no-wholesale για να αποτρέψουν την εναλλακτική χρέωση χονδρικής για αυτό το αίτημα.
Όταν ισχύει το στοιχείο ελέγχου και τα διαπιστευτήρια παρόχου δεν είναι διαθέσιμα, το AI Gateway επιστρέφει το HTTP 400. Το Cloudflare λέει ότι τα αιτήματα τεχνητής νοημοσύνης των εργαζομένων ενδέχεται να παραμείνουν συγκεκριμένα μέσω του αιτήματος τρίτου μέρους. Διαπιστευτήρια που διαχειρίζονται το Cloudflare.
Η δυνατότητα δεν είναι νέο μοντέλο δρομολογητή ή έκπτωση τιμολόγησης. Είναι ένα προστατευτικό κιγκλίδωμα με λειτουργία χρέωσης. Αυτό το καθιστά άμεσα συναφές με την ενοποιημένη χρέωση API AI, επειδή μια μεμονωμένη πύλη μπορεί πλέον να χαράξει μια πιο ευκρινή γραμμή μεταξύ της κίνησης που χρεώνεται κεντρικά και των αιτημάτων που πρέπει να χρεωθούν στον λογαριασμό παρόχου του ίδιου του πελάτη.
Γιατί η εναλλακτική χρέωση είναι βολική>
Free ranking. Εάν ένα διαπιστευτήριο παρόχου απουσιάζει, έχει λήξει ή δεν έχει συνδεθεί στη σωστή διαδρομή, ένα διαπιστευτήριο που διαχειρίζεται πύλη μπορεί να διατηρήσει την εφαρμογή σε λειτουργία. Ωστόσο, αυτή η ίδια ευκολία μπορεί να δημιουργήσει μια ακατάστατη διαδρομή τιμολογίων.
Ένας προμηθευτής SaaS, εταιρεία ή ομάδα εσωτερικής πλατφόρμας μπορεί να υπόσχεται ότι η επισκεψιμότητα ενός συγκεκριμένου μισθωτή εκτελείται μόνο έναντι του λογαριασμού OpenAI, Anthropic, Google ή άλλου παρόχου αυτού του ενοικιαστή. Εάν η πύλη χρησιμοποιεί σιωπηλά ένα διαπιστευτήριο χονδρικής, το αίτημα μπορεί να είναι επιτυχές, αλλά η εμπορική έννοια έχει αλλάξει. Ο χειριστής της πλατφόρμας μπορεί να απορροφήσει το κόστος, να το μεταβιβάσει λανθασμένα ή να χάσει τη δυνατότητα να συμβιβάσει τη χρήση με τον λογαριασμό παρόχου του ίδιου του πελάτη.
Αυτό είναι ιδιαίτερα ευαίσθητο για μοντέλα API μεταπωλητών και συνεργατών. Ένας πελάτης μπορεί να βρίσκεται στο BYOK λόγω κανόνων προμηθειών. Κάποιος άλλος μπορεί να χρησιμοποιήσει πιστώσεις που χρεώνονται σε πλατφόρμα. Ένα τρίτο μπορεί να απαιτεί χωριστούς λογαριασμούς παρόχου για ρυθμιστικούς λόγους ή λόγους διακυβέρνησης δεδομένων. Σε αυτό το περιβάλλον, η διαδρομή χρέωσης είναι μέρος της σύμβασης προϊόντος, όχι μια λεπτομέρεια υλοποίησης.
Ο νέος έλεγχος του Cloudflare δίνει στις ομάδες έναν τρόπο να καταστήσουν τη σύμβαση εκτελεστή στο όριο της πύλης. Ένα αποτυχημένο αίτημα είναι λειτουργικά ενοχλητικό, αλλά είναι πιο εύκολο να εντοπιστεί σφάλματα παρά ένα επιτυχημένο αίτημα που εμφανίζεται αργότερα σε λάθος κέντρο κόστους.
Ποιος επηρεάζεται
Το άμεσο κοινό είναι οποιαδήποτε ομάδα που χρησιμοποιεί το Cloudflare AI Gateway με ένα συνδυασμό διαπιστευτηρίων που ανήκουν σε πάροχο και χρέωσης που διαχειρίζεται το Cloudflare. Η αλλαγή έχει μεγαλύτερη σημασία όπου πολλοί ενοικιαστές, περιβάλλοντα ή επιχειρηματικές μονάδες μοιράζονται μια διαμόρφωση πύλης.
Οι προγραμματιστές θα πρέπει να αποφασίσουν εάν μια διαδρομή θα προτιμήσει τη διαθεσιμότητα ή την αυστηρή απομόνωση χρέωσης. Οι ομάδες οικονομικών και λειτουργιών αποκτούν έναν καθαρότερο μηχανισμό για την πρόληψη της τυχαίας χονδρικής χρήσης. Οι ομάδες ασφάλειας και πλατφόρμας αποκτούν έναν άλλο μοχλό για τη διαχείριση κλειδιών API, επειδή η παρουσία ή η απουσία διαπιστευτηρίων παρόχου έχει πλέον άμεσο αποτέλεσμα επιβολής.
Για τους χειριστές πύλης τεχνητής νοημοσύνης ευρύτερα, η ενημέρωση είναι ένα σήμα. Οι έλεγχοι χρέωσης γίνονται έλεγχοι πολιτικής. Δεν αρκεί πλέον να δείξουμε ότι ένα αίτημα χρησιμοποιούσε ένα συγκεκριμένο μοντέλο. Οι πύλες χρειάζεται όλο και περισσότερο να καταγράφουν ποια διαδρομή διαπιστευτηρίων χρησιμοποιήθηκε, σε ποιον κατείχε αυτό το διαπιστευτήριο, ποιος μισθωτής ή κλειδί API ξεκίνησε την κλήση και εάν επιτρεπόταν η εναλλακτική.
Οι χρήστες του μοντέλου Gate αντιμετωπίζουν το ίδιο υποκείμενο πρόβλημα όταν διαχειρίζονται ομάδες, κλειδιά API, αναλυτικά στοιχεία χρήσης και πρόσβαση σε συνεργάτες. Ένα κλειδί εμβέλειας πελάτη δεν είναι απλώς ένα διακριτικό ελέγχου ταυτότητας. μπορεί να συνεπάγεται έναν τρόπο χρέωσης, ένα όριο δαπανών, έναν λογαριασμό παρόχου και ένα σύνολο προσδοκιών ελέγχου. Εάν αυτές οι έννοιες δεν επιβάλλονται με συνέπεια, οι πίνακες εργαλείων και τα τιμολόγια αναλυτικών στοιχείων μπορεί να απομακρυνθούν από αυτό που πιστεύουν οι πελάτες ότι αγόρασαν.
Πρακτικές συνέπειες
Η πρώτη πρακτική αλλαγή είναι ο χειρισμός σφαλμάτων. Οι εφαρμογές που ενεργοποιούν στοιχεία ελέγχου μόνο BYOK θα πρέπει να αντιμετωπίζουν το HTTP 400 από την πύλη ως πρόβλημα διαμόρφωσης ή διαπιστευτηρίων και όχι ως αποτυχία μοντέλου.Η επανάληψη του ίδιου αιτήματος χωρίς διόρθωση διαπιστευτηρίων ενδέχεται να δημιουργήσει μόνο θόρυβο.
Η δεύτερη αλλαγή είναι ενσωματωμένη. Οι ομάδες που επιτρέπουν στους πελάτες να φέρουν κλειδιά παρόχου χρειάζονται ένα ισχυρότερο βήμα ελέγχου διαπιστευτηρίων πριν ξεκινήσει η κυκλοφορία παραγωγής. Ένας ενοικιαστής δεν πρέπει να ανακαλύψει κατά τη διάρκεια μιας ζωντανής ροής εργασίας ότι το κλειδί παροχής του δεν ήταν ποτέ συνδεδεμένο στη διαδρομή πύλης.
Η τρίτη αλλαγή είναι η παρατηρησιμότητα. Τα αρχεία καταγραφής πύλης και οι αναφορές χρήσης θα πρέπει να αποκαλύπτουν εάν ένα αίτημα χρησιμοποίησε BYOK, χρέωση πλατφόρμας ή αποκλεισμένη εναλλακτική διαδρομή. Χωρίς αυτό το πεδίο, οι ομάδες υποστήριξης μπορεί να γνωρίζουν ότι ένα αίτημα απέτυχε, αλλά όχι εάν η αποτυχία προστάτευσε ένα όριο χρέωσης.
Τέλος, οι πλατφόρμες συνεργατών θα πρέπει να επανεξετάσουν τις προεπιλογές τους. Η αυστηρή επιβολή του BYOK δεν είναι πάντα η σωστή επιλογή. Ορισμένα προϊόντα ενδέχεται να επιστρέφουν εσκεμμένα στη χρέωση πλατφόρμας για να διατηρηθεί η συνέχεια της υπηρεσίας. Άλλοι μπορεί να χρειάζονται σκληρό χωρισμό λόγω συμβολαίων, εμπιστοσύνης πελατών ή προστασίας περιθωρίου. Η σημαντική αλλαγή είναι ότι η απόφαση μπορεί να είναι ρητή και όχι τυχαία.
Τι παραμένει ασαφές
Η δημόσια αλλαγή περιγράφει τους μηχανισμούς πολιτικής, αλλά οι ομάδες θα πρέπει ακόμα να δοκιμάσουν πώς συμπεριφέρεται στο δικό τους μείγμα παρόχων, τη δομή διαδρομής και το μοντέλο κληρονομικότητας διαπιστευτηρίων. Επίσης, δεν είναι ακόμη σαφές πόσο ευρέως τα πλαίσια εφαρμογών και τα εργαλεία παρατηρησιμότητας τρίτων θα εμφανίσουν αυτή τη διάκριση τρόπου χρέωσης στους προεπιλεγμένους πίνακες εργαλείων τους.
Η μεγαλύτερη κατεύθυνση είναι αρκετά σαφής. Οι πύλες πολλαπλών μοντέλων γίνονται επίπεδα οικονομικού ελέγχου όσο και τα API proxies. Η ρύθμιση μόνο BYOK του Cloudflare είναι μια περιορισμένη δυνατότητα, αλλά αντιμετωπίζει μια κατάσταση πραγματικής αποτυχίας: το αίτημα που λειτουργεί τεχνικά ενώ παραβιάζει το προβλεπόμενο μοντέλο χρέωσης.