Το Cloudflare AI Gateway προσθέτει τιμολόγηση cache-token στην προσαρμοσμένη λογιστική κόστους

Το Cloudflare έχει προσθέσει ποσοστά διακριτικών ανάγνωσης και εγγραφής κρυφής μνήμης στην προσαρμοσμένη λογιστική κόστους του AI Gateway, ένα μικρό στοιχείο καταγραφής αλλαγών με μεγάλες συνέπειες χρέωσης για ομάδες που μεταπωλούν, δρομολογούν ή συμβιβάζουν τη χρήση μοντέλου σε όλους τους παρόχους.

Η ενημέρωση της 9ης Σεπτεμβρίου σημαίνει ότι οι προγραμματιστές μπορούν πλέον να περάσουν το per_token Τιμές per_cache_write_token στην κεφαλίδα cf-aig-custom-cost. Όταν υπάρχει κάποια συγκεκριμένη τιμή για την κρυφή μνήμη, το Cloudflare λέει ότι το AI Gateway ενεργοποιεί την τιμολόγηση κρυφής μνήμης και λαμβάνει υπόψη τις διαφορές παρόχων, ώστε η ίδια χρήση της προσωρινής μνήμης να μην υπολογίζεται δύο φορές.

Αυτό ακούγεται περιορισμένο. Δεν είναι. Η τιμολόγηση της προσωρινής μνήμης έχει γίνει ένα από τα πιο δύσκολα μέρη της ενοποιημένης χρέωσης API AI, ειδικά καθώς οι πάροχοι χρησιμοποιούν διαφορετικά ονόματα, μονάδες και κανόνες χρέωσης για επαναχρησιμοποιούμενο περιβάλλον. Η αντιμετώπιση κάθε αποθηκευμένου διακριτικού ως κανονικού διακριτικού εισόδου μπορεί να είναι απλή, αλλά μπορεί να είναι αρκετά λανθασμένη ώστε να διαγραφεί το περιθώριο μεταπωλητή ή να παραπλανηθούν οι πελάτες σχετικά με το ποιοι φόρτοι εργασίας είναι πραγματικά ακριβοί.

Τι άλλαξε

Το AI Gateway επέτρεψε ήδη να επισυνάπτονται δεδομένα προσαρμοσμένου κόστους στα αιτήματα, δίνοντας στις ομάδες έναν τρόπο να αντιπροσωπεύουν δημόσιες τιμές διαπραγμάτευσης ή εσωτερικής τιμολόγησης. Η νέα αλλαγή επεκτείνει αυτόν τον μηχανισμό σε συγκεκριμένες κατηγορίες διακριτικών για την κρυφή μνήμη.

Στην πράξη, ένας χειριστής πύλης μπορεί τώρα να πει στο Cloudflare όχι μόνο τι κοστίζει ένα διακριτικό εισόδου ή εξόδου, αλλά και τι κοστίζει μια ανάγνωση ή εγγραφή στην κρυφή μνήμη. Αυτή η διάκριση έχει σημασία, επειδή οι πάροχοι ολοένα και περισσότερο τιμολογούν την προσωρινή αποθήκευση ως το δικό τους οικονομικό επίπεδο. Μια εγγραφή στην κρυφή μνήμη μπορεί να κοστίσει περισσότερο από μια ανάγνωση προσωρινής μνήμης. Μια ανάγνωση προσωρινής μνήμης μπορεί να είναι δραματικά φθηνότερη από την νέα είσοδο. Ορισμένοι πάροχοι ενδέχεται να εκθέσουν διαφορετικά τη δημιουργία προσωρινής μνήμης και την ανάκτηση της προσωρινής μνήμης στις εγγραφές χρήσης.

Η σημείωση του Cloudflare ότι χειρίζεται τις διαφορές παρόχων για την αποφυγή διπλής καταμέτρησης είναι επίσης σημαντική. Τα πεδία της κρυφής μνήμης δεν διαχωρίζονται πάντα καθαρά από τα σύνολα των διακριτικών εισόδου. Εάν ένα σύστημα χρέωσης προσθέτει αφελώς διακριτικά κρυφής μνήμης πάνω από τη χρήση εισόδου που αναφέρεται από τον πάροχο, μπορεί να υπερχρεώσει τους πελάτες ή να αυξήσει το εσωτερικό κόστος. Εάν αγνοήσει τα πεδία της κρυφής μνήμης, μπορεί να υποτιμήσει το κόστος των εφαρμογών μεγάλου πλαισίου που δημιουργούν συχνά καταχωρίσεις κρυφής μνήμης.

Γιατί η λογιστική προσωρινής μνήμης είναι πλέον σημαντική

Η προσωρινή αποθήκευση προτροπής ήταν μια λεπτομέρεια βελτιστοποίησης. Για πολλούς φόρτους εργασίας παραγωγής, αποτελεί πλέον μέρος της αρχιτεκτονικής των τιμών.

Μεγάλες προτροπές συστήματος, περιβάλλον επαυξημένο με ανάκτηση, χώροι αποθήκευσης πρακτόρων κωδικοποίησης, νομικά πακέτα εγγράφων και βάσεις γνώσεων υποστήριξης ωφελούνται από την επαναχρησιμοποίηση του περιβάλλοντος. Όσο πιο επαναλαμβανόμενο πλαίσιο στέλνει ένα σύστημα, τόσο περισσότερο η τιμολόγηση της προσωρινής μνήμης αλλάζει τα πραγματικά οικονομικά στοιχεία της μονάδας. Δύο αιτήματα με παρόμοιο πλήθος διακριτικών μπορεί να έχουν πολύ διαφορετικό κόστος εάν το ένα γράφει μια καταχώριση κρυφής μνήμης και ένα άλλο διαβάζει από αυτήν.

Αυτό κάνει την ορατότητα της κρυφής μνήμης ένα οικονομικό ζήτημα, όχι απλώς ένα ζήτημα μηχανικής. Μια ομάδα που εκτελεί εσωτερικούς πράκτορες μπορεί να χρειαστεί να γνωρίζει εάν μια νέα ροή εργασίας είναι ακριβή επειδή δημιουργεί πάρα πολλά φρέσκα μηνύματα, χάνει τη μνήμη cache ή γράφει μεγάλα μπλοκ προσωρινής μνήμης πολύ συχνά. Ένας μεταπωλητής μπορεί να χρειαστεί να δείξει στους πελάτες γιατί η χρεωμένη χρήση μιας εφαρμογής είναι χαμηλότερη από την αναμενόμενη, παρόλο που το προφανές μέγεθός της για την προτροπή είναι μεγάλο. Ένας προμηθευτής πύλης μπορεί να χρειαστεί να διατηρήσει πεδία κρυφής μνήμης σε αρχεία καταγραφής, αναλυτικών στοιχείων και λογιστικών βιβλίων, ώστε η συμφωνία στο τέλος του μήνα να ταιριάζει με τα τιμολόγια παρόχου.

Εδώ είναι επίσης όπου τα Αναλύσεις κόστους AI API γίνονται πιο απαιτητικά. Το συνολικό κόστος αιτήματος δεν είναι πλέον αρκετό. Οι ομάδες πρέπει να βλέπουν χωριστά την είσοδο, την έξοδο, την εγγραφή στην κρυφή μνήμη και τη συμπεριφορά ανάγνωσης στην κρυφή μνήμη και, στη συνέχεια, να συνδέσουν αυτές τις κατηγορίες με κλειδιά API, πελάτες, μοντέλα και διαδρομές.

Ποιος επηρεάζεται

Το άμεσο κοινό είναι οι χρήστες του Cloudflare AI Gateway που βασίζονται στο προσαρμοσμένο κόστος και όχι στην προεπιλεγμένη δημόσια τιμολόγηση. Αυτό περιλαμβάνει επιχειρήσεις με τιμές μοντέλων βάσει διαπραγμάτευσης, πλατφόρμες που επισημαίνουν τη χρήση παρόχου για πελάτες και ομάδες που χρησιμοποιούν το Cloudflare ως κοινόχρηστο επίπεδο ελέγχου σε πολλούς παρόχους μοντέλων.

Οι μεταπωλητές είναι ιδιαίτερα εκτεθειμένοι. Εάν ένας μεταπωλητής χρεώνει τους πελάτες χρησιμοποιώντας ένα απλοποιημένο μοντέλο διακριτικού ενώ πληρώνει τους παρόχους βάσει τιμολόγησης με επίγνωση της προσωρινής μνήμης, η διαφορά μπορεί να συσσωρευτεί αθόρυβα. Η υποφόρτιση των εγγραφών της προσωρινής μνήμης ή η υπερφόρτιση των αναγνώσεων της κρυφής μνήμης ενδέχεται να μην εμφανίζονται σε ένα μόνο αίτημα, αλλά μπορεί να έχει σημασία σε περιόδους σύνδεσης αντιπροσώπου, επεξεργασία δέσμης ή φόρτους εργασίας ανάκτησης μεγάλου όγκου.

Οι προγραμματιστές που δημιουργούν επίπεδα πύλης συμβατά με OpenAI επηρεάζονται ακόμη και όταν δεν χρησιμοποιούν απευθείας το Cloudflare. Η αλλαγή αντανακλά μια ευρύτερη κατεύθυνση στην αγορά: οι επιφάνειες τιμολόγησης παρόχων γίνονται πιο αναλυτικές, ενώ οι πελάτες εξακολουθούν να αναμένουν καθαρό τιμολόγιο και προβλέψιμες αναφορές χρήσης.Προϊόντα όπως το Model Gate πρέπει να αντιμετωπίζουν τα πεδία διακριτικών κρυφής μνήμης ως δεδομένα λογιστικού πρώτης κατηγορίας, εάν θέλουν ακριβείς αναφορές εύρους πελατών, όρια χρήσης και ανάλυση περιθωρίων σε πολλούς παρόχους.

Πρακτικές συνέπειες

Οι ομάδες Gateway θα πρέπει να εξετάσουν τον τρόπο με τον οποίο τα αρχεία καταγραφής αιτημάτων, οι αριθμομηχανές κόστους και τα τιμολόγιά τους αντιπροσωπεύουν τη δραστηριότητα της κρυφής μνήμης. Εάν οι αναγνώσεις και οι εγγραφές της κρυφής μνήμης ισοπεδωθούν σε συνηθισμένα διακριτικά προτροπής, τα αναλυτικά στοιχεία μπορεί να φαίνονται πιο απλά από τον υποκείμενο λογαριασμό. Εάν οι εγγραφές χρήσης παρόχου περιέχουν πεδία κρυφής μνήμης που απορρίπτονται κατά την απορρόφηση, η μεταγενέστερη συμφωνία θα είναι δύσκολη.

Οι μηχανές τιμολόγησης πρέπει επίσης να υποστηρίζουν περισσότερες από μία τιμές ανά κατεύθυνση. Ο παλιός διαχωρισμός εισροών-εξόδου δεν είναι πλέον αρκετός για προηγμένη λογιστική μοντέλων. Ένα αξιόπιστο καθολικό μοντέλου χρειάζεται πλέον χώρο για νέα διακριτικά εισόδου, διακριτικά εξόδου, εγγραφές κρυφής μνήμης, αναγνώσεις κρυφής μνήμης και πιθανώς παραλλαγές αυτών των κατηγοριών για συγκεκριμένους παρόχους.

Οι πίνακες εργαλείων που απευθύνονται στους πελάτες θα πρέπει να εκθέτουν προσεκτικά αυτές τις διακρίσεις. Οι περισσότεροι χρήστες δεν θέλουν να διαβάσουν την ακατέργαστη τηλεμετρία παρόχου, αλλά πρέπει να καταλάβουν γιατί το κόστος αλλάζει όταν μια εφαρμογή αρχίζει να επαναχρησιμοποιεί το περιβάλλον πιο αποτελεσματικά. Η καλύτερη διεπαφή μπορεί να είναι μια ανάλυση κόστους που δείχνει την εξοικονόμηση προσωρινής μνήμης και το κόστος δημιουργίας κρυφής μνήμης χωρίς να υποχρεώνει τους πελάτες να μάθουν την ορολογία κάθε παρόχου.

Υπάρχουν επίσης λειτουργικές επιπτώσεις για ειδοποιήσεις και όρια. Ένα όριο προϋπολογισμού πελάτη που βασίζεται μόνο στα συνολικά διακριτικά μπορεί να αποτύχει να καλύψει έναν φόρτο εργασίας που εγγράφει ακριβές καταχωρήσεις κρυφής μνήμης. Μια ειδοποίηση περιθωρίου που βασίζεται μόνο στον αριθμό αιτημάτων μπορεί να χάσει μια αναντιστοιχία τιμολόγησης παρόχου. Για ομάδες που πωλούν πρόσβαση μέσω κλειδιών ανά πελάτη, η λογιστική με επίγνωση της κρυφής μνήμης θα πρέπει να συνδέεται με τα ίδια αναγνωριστικά πελάτη, έργου ή εφαρμογής που χρησιμοποιούνται για ελέγχους δαπανών.

Τι παραμένει ανοιχτό

Το αρχείο καταγραφής αλλαγών παρέχει υποστήριξη για προσαρμοσμένες τιμές cache-read και cache-write, αλλά δεν λύνει κάθε ερώτηση εφαρμογής για το gate. Οι ομάδες πρέπει ακόμα να δοκιμάσουν τον τρόπο με τον οποίο οι συγκεκριμένοι πάροχοι τους αναφέρουν τη χρήση της κρυφής μνήμης, πώς εμφανίζονται τα υπολογισμένα κόστη του Cloudflare στα αρχεία καταγραφής και τις εξαγωγές και πώς θα πρέπει να συγκριθούν τα υπάρχοντα τιμολόγια με τα νέα πεδία προσαρμοσμένου κόστους.

Η μεγαλύτερη κατεύθυνση είναι σαφής, ωστόσο. Η τιμολόγηση πύλης AI μετακινείται από έναν απλό μετρητή συμβολικών προς ένα λεπτομερές καθολικό χρήσης. Η τιμολόγηση της προσωρινής μνήμης αποτελεί πλέον μέρος αυτού του καθολικού. Οι ομάδες που διατηρούν τις λεπτομέρειες θα έχουν πιο καθαρή συμφωνία και καλύτερα αναλυτικά στοιχεία πελατών. Οι ομάδες που το καταρρέουν μπορεί να μην παρατηρήσουν το πρόβλημα έως ότου ο λογαριασμός παρόχου και το τιμολόγιο πελάτη σταματήσουν να λένε την ίδια ιστορία.