Το Cloudflare AI Gateway έχει προσθέσει ψευδώνυμα μοντέλων, επιτρέποντας στους πελάτες να τοποθετούν μια ομάδα μοντέλων πίσω από ένα μόνο όνομα που χρησιμοποιείται από εφαρμογές. Ένα ψευδώνυμο μπορεί να εφαρμόσει είτε μια παραγγελθείσα εναλλακτική πολιτική είτε έξυπνη δρομολόγηση, ενώ οι πελάτες στέλνουν το ψευδώνυμο ως όνομα μοντέλου μέσω του REST API της πύλης.

Η πρακτική αλλαγή είναι ο διαχωρισμός μεταξύ του αναγνωριστικού μοντέλου που ζητά μια εφαρμογή και του μοντέλου που χειρίζεται τελικά το αίτημα. Οι χειριστές πύλης μπορούν να αλλάξουν το pool, την πολιτική δρομολόγησης ή τα υποκείμενα μοντέλα χωρίς να αναδιατάξουν κάθε πελάτη που χρησιμοποιεί το ψευδώνυμο. Το Cloudflare λέει ότι τα ψευδώνυμα καλύπτονται από μεμονωμένες πύλες.

Αυτό είναι κάτι περισσότερο από μια ευκολία για τη μετονομασία μοντέλων. Παρέχει στους χειριστές μια σταθερή διεπαφή για εφαρμογές, ενώ η διαθεσιμότητα του παρόχου, οι εκδόσεις μοντέλων και οι προτιμήσεις δρομολόγησης αλλάζουν πίσω από αυτό.

Ένα σταθερό όνομα για μια ομάδα μοντέλων που αλλάζει

Χωρίς επίπεδο ψευδωνύμου, οι εφαρμογές συνήθως εξαρτώνται από αναγνωριστικά μοντέλου για συγκεκριμένο πάροχο. Επομένως, η αντικατάσταση ενός μοντέλου, η προσθήκη μιας εναλλακτικής ή η μετακίνηση της κυκλοφορίας σε άλλο πάροχο μπορεί να απαιτήσει αλλαγές διαμόρφωσης σε πολλές υπηρεσίες. Μπορεί επίσης να ωθήσει την επανάληψη και τη λογική επιλογής παρόχου σε κάθε πελάτη.

Η εφαρμογή του Cloudflare μεταφέρει αυτές τις αποφάσεις στην πύλη. Με την παραγγελθείσα εναλλακτική, ένας χειριστής μπορεί να ορίσει ένα προτιμώμενο μοντέλο και εναλλακτικές λύσεις για να δοκιμάσει όταν η πρώτη επιλογή δεν μπορεί να εξυπηρετήσει ένα αίτημα. Η έξυπνη δρομολόγηση παρέχει μια εναλλακτική λύση βάσει πολιτικής στην οποία η πύλη επιλέγει από το pool αντί να ακολουθεί μια σταθερή ακολουθία.

Αυτή η ρύθμιση είναι ιδιαίτερα σχετική με μια πύλη πολυμοντέλων API για ομάδες. Μια ομάδα λογισμικού μπορεί να δώσει στις εφαρμογές ένα ανθεκτικό όνομα μοντέλου ενώ αλλάζει την υλοποίηση κεντρικά. Μπορεί επίσης να τυποποιήσει το αναγνωριστικό που χρησιμοποιείται από πολλές εσωτερικές υπηρεσίες, μειώνοντας τον αριθμό των μετεγκαταστάσεων μοντέλων που πρέπει να συντονιστούν με τους κατόχους εφαρμογών.

Ωστόσο, το ψευδώνυμο παραμένει συγκεκριμένο για την πύλη. Οι οργανισμοί που διαχειρίζονται πολλές πύλες Cloudflare θα πρέπει να διαχειρίζονται ξεχωριστά ισοδύναμα ψευδώνυμα, εάν θέλουν συνεπή ονόματα και πολιτικές σε περιβάλλοντα ή επιχειρηματικές μονάδες.

Το Failover γίνεται ευκολότερο, αλλά η παρατηρησιμότητα γίνεται πιο δύσκολη

Οι ομάδες μοντέλων μπορούν να βελτιώσουν την ανθεκτικότητα, επειδή οι εφαρμογές δεν χρειάζονται πλέον τη δική τους επιλογή παρόχου και εναλλακτικό κωδικό. Εάν ένας χειριστής αλλάξει την παραγγελθείσα ομάδα, η εφαρμογή συνεχίζει να καλεί το ίδιο ψευδώνυμο. Ο ίδιος μηχανισμός μπορεί να υποστηρίξει αναβαθμίσεις μοντέλων ή αλλαγές παρόχου χωρίς να αλλάξει το συμβόλαιο που αντιμετωπίζει ο πελάτης.

Αλλά τα σταθερά αναγνωριστικά εισάγουν μια λογιστική διάκριση που οι χειριστές δεν μπορούν να αγνοήσουν. Τα αρχεία καταγραφής και οι εγγραφές χρήσης θα πρέπει να διατηρούν τόσο το ψευδώνυμο που ζητήθηκε από τον πελάτη όσο και το μοντέλο που εξυπηρέτησε πραγματικά το αίτημα. Διαφορετικά, ένα αίτημα που αναφέρεται μόνο με το ψευδώνυμο μπορεί να κρύβει διαφορές στην τιμή, τον λανθάνοντα χρόνο, την ποιότητα παραγωγής ή τον χειρισμό του παρόχου.

Αυτό έχει σημασία τόσο για την αντιστροφή χρέωσης και την υποστήριξη πελατών όσο και για τον τεχνικό εντοπισμό σφαλμάτων. Όταν δύο αιτήματα για το ίδιο ψευδώνυμο εξυπηρετούνται από διαφορετικά μοντέλα, το κόστος και η συμπεριφορά τους ενδέχεται να διαφέρουν ακόμη και αν η διαμόρφωση του προγράμματος-πελάτη παραμένει αμετάβλητη. Επομένως, ένα επίπεδο ελέγχου AI API για ομάδες προγραμματιστών χρειάζεται απόδοση σε επίπεδο εκτέλεσης, όχι απλώς μετράει ομαδοποιημένη με βάση το δημόσιο όνομα μοντέλου.

Η αξιολόγηση γίνεται επίσης μια συνεχής επιχειρησιακή εργασία. Μια αλλαγή δρομολόγησης μπορεί να επηρεάσει τη συμπεριφορά της εφαρμογής χωρίς ανάπτυξη κώδικα, επομένως οι ομάδες θα πρέπει να δοκιμάζουν τις αναθεωρήσεις πολιτικής και να διατηρούν ένα αρχείο για το ποιο μοντέλο εξυπηρετούσε κάθε αξιολογημένο αίτημα. Η ειδοποίηση πρέπει να διακρίνει μια επιτυχημένη εναλλακτική από την κανονική χρήση του προτιμώμενου μοντέλου, καθώς η επαναλαμβανόμενη εναλλακτική μπορεί να υποδηλώνει πρόβλημα παρόχου ή εξαντλημένη χωρητικότητα.

Συνέπειες για μεταπωλητές και χειριστές πλατφόρμας

Τα ψευδώνυμα είναι χρήσιμα για πλατφόρμες που δημοσιεύουν έναν κατάλογο μοντέλων που απευθύνονται σε πελάτες. Ένας μεταπωλητής μπορεί να αποκαλύψει ένα σταθερό όνομα προϊόντος ενώ αντικαθιστά ένα καταργημένο μοντέλο, προσαρμόζει ένα μείγμα παρόχων ή εισάγει μια εναλλακτική επιλογή πίσω από αυτό. Αυτό μπορεί να μειώσει τις ενοχλητικές μετεγκαταστάσεις καταλόγου και να επιτρέψει στον χειριστή να διαχειρίζεται τη διαθεσιμότητα κεντρικά.

Η αφαίρεση δημιουργεί επίσης ερωτήσεις αποκάλυψης και χρέωσης. Οι πελάτες μπορεί να χρειαστεί να γνωρίζουν εάν ένα ψευδώνυμο αντιστοιχεί πάντα σε ένα μοντέλο, επιλέγει ανάμεσα σε πολλά μοντέλα ή αλλάζει συμπεριφορά με την πάροδο του χρόνου. Για τις λειτουργίες μεταπωλητή AI API, τα τιμολόγια και οι εξαγωγές χρήσης θα πρέπει να καθιστούν το αποτέλεσμα δρομολόγησης αρκετά σαφές ώστε να συμβιβάζονται οι χρεώσεις πελατών με το κόστος του παρόχου.

Οι χειριστές θα πρέπει επίσης να αποφασίσουν εάν οι προϋπολογισμοί, τα όρια τιμών και οι πολιτικές πρόσβασης συνδέονται με το ψευδώνυμο, τα υποκείμενα μοντέλα ή και τα δύο. Ένα ψευδώνυμο που μπορεί να δρομολογεί μοντέλα με ουσιαστικά διαφορετικές τιμές δεν θα πρέπει να παρακάμπτει σιωπηλά τις υποθέσεις δαπανών που καθορίστηκαν κατά τη διαμόρφωση του πελάτη.

Τι παραμένει ασαφές

Το αρχείο καταγραφής αλλαγών του Cloudflare καθορίζει τη βασική συμπεριφορά, αλλά δεν περιγράφει τα κριτήρια απόφασης που χρησιμοποιούνται από την έξυπνη δρομολόγηση σε αυτήν την ανακοίνωση. Επίσης, δεν παρέχει μετρήσεις απόδοσης για failover ούτε εξηγεί πόσο γρήγορα διαδίδονται οι αλλαγές ψευδωνύμων.

Αυτές οι λεπτομέρειες θα καθορίσουν πόσο με σιγουριά μπορούν οι ομάδες να χρησιμοποιούν ψευδώνυμα για ευαίσθητους σε καθυστέρηση ή αυστηρά ρυθμιζόμενους φόρτους εργασίας. Προς το παρόν, το άμεσο όφελος είναι σαφές: οι εφαρμογές μπορούν να εξαρτώνται από ένα σταθερό όνομα μοντέλου, ενώ οι αποφάσεις δρομολόγησης μετακινούνται στην πύλη. Η αντίστοιχη υποχρέωση είναι εξίσου σαφής: η υποβολή εκθέσεων, η τιμολόγηση και οι έλεγχοι πρέπει να ακολουθούν το μοντέλο που εκτέλεσε πραγματικά το αίτημα, όχι μόνο το ψευδώνυμο που παρέχεται από την εφαρμογή.