Η Google κάνει τα στοιχεία ελέγχου κόστους τεχνητής νοημοσύνης μια λειτουργία μπροστινής πόρτας για το Gemini Enterprise

Το Google Cloud έχει προσθέσει νέα εργαλεία ευελιξίας χρέωσης και διαχείρισης κόστους για το Gemini Enterprise, τοποθετώντας τους ελέγχους δαπανών AI πιο κοντά στους πράκτορες που δημιουργούν και τρέχουν ομάδες.

Η αλλαγή έχει σημασία επειδή ο φόρτος εργασίας των αντιπροσώπων δεν συμπεριφέρεται όπως οι παραδοσιακές θέσεις SaaS. Ένας παράγοντας κωδικοποίησης, ένας παράγοντας υποστήριξης ή ένας παράγοντας ροής εργασιών μπορεί να καλέσει πολλά μοντέλα, να καλέσει εργαλεία επανειλημμένα και να δημιουργήσει μεταβλητή χρήση σε χρήστες, έργα και περιβάλλοντα. Αυτό καθιστά το κόστος πιο δύσκολο να εξηγηθεί εκ των υστέρων. Η Google αντιμετωπίζει τώρα αυτό το πρόβλημα ως επιφάνεια προϊόντος εντός του Gemini Enterprise και του οικοσυστήματος προγραμματιστών του, αντί να το αφήνει εξ ολοκλήρου στις τυπικές εξαγωγές χρέωσης cloud.

Σύμφωνα με το Google Cloud, το όριο του εργαλείου προγραμματιστών που περιλαμβάνεται στις συνδρομές Gemini Enterprise συγκεντρώνεται πλέον σε επίπεδο έργου Google Cloud. Η εταιρεία περιγράφει επίσης διευρυμένη ευελιξία χρέωσης για φόρτους εργασίας αντιπροσώπων στο Gemini Enterprise και στα εργαλεία προγραμματιστών, συμπεριλαμβανομένου του Google Antigravity στο Gemini Enterprise και του Android Studio. Ξεχωριστά, η τεκμηρίωση του Google Cloud περιγράφει έναν παράγοντα σύνοψης κόστους AI που μπορεί να αναλύσει τη χρήση του Gemini, συμπεριλαμβανομένων των δαπανών από το Gemini API και το Vertex AI, και να αναλύει τις δαπάνες AI κατά κλειδί API.

Τι άλλαξε

Η πιο συγκεκριμένη λειτουργική αλλαγή είναι η συγκέντρωση σε επίπεδο έργου για το όριο εργαλείων προγραμματιστή που συνδέεται με τις συνδρομές Gemini Enterprise. Αντί να σκέφτονται μόνο με όρους μεμονωμένους χρήστες που καταναλώνουν ξεχωριστά δικαιώματα, οι οργανισμοί μπορούν να διαχειριστούν την περιλαμβανόμενη ποσόστωση σε επίπεδο έργου. Για τις ομάδες μηχανικών, αυτό είναι πιο κοντά στον τρόπο οργάνωσης της εργασίας της τεχνητής νοημοσύνης: ανά προϊόν, περιβάλλον, ομάδα, εφαρμογή ή ροή εργασιών που αντιμετωπίζει ο πελάτης.

Το AI Cost Summary Agent είναι το άλλο αξιοσημείωτο κομμάτι. Η Google το περιγράφει ως εργαλείο για την ανάλυση της χρήσης του Gemini και των δαπανών τεχνητής νοημοσύνης στο Gemini API και το Vertex AI. Η τεκμηρίωση λέει ότι μπορεί να αναλύσει τις δαπάνες κατά κλειδί API, το οποίο είναι ένα κρίσιμο επίπεδο απόδοσης για τα σύγχρονα συστήματα AI. Τα κλειδιά API συχνά αντιστοιχίζονται σε υπηρεσίες, εσωτερικά εργαλεία, πειράματα, ροές εργασίας μισθωτών ή αντιπροσώπων. Όταν οι λογαριασμοί αυξάνονται, η χρήσιμη ερώτηση σπάνια είναι απλώς "ποιο μοντέλο ήταν ακριβό;" Είναι "ποιος φόρτος εργασίας, κλειδί, εφαρμογή ή ομάδα προκάλεσε την αλλαγή;"

Αυτή η διάκριση είναι ιδιαίτερα σημαντική για τον φόρτο εργασίας των αντιπροσώπων. Ένα μεμονωμένο αίτημα χρήστη μπορεί να προκαλέσει προγραμματισμό, ανάκτηση, κλήσεις εργαλείων, βήματα συλλογιστικής, εκτέλεση κώδικα ή κλήσεις μοντέλου παρακολούθησης. Χωρίς απόδοση, οι ομάδες χρηματοδότησης βλέπουν έναν λογαριασμό, οι ομάδες μηχανικών βλέπουν αρχεία καταγραφής και καμία από τις δύο πλευρές δεν έχει καθαρή κοινή άποψη για το τι συνέβη.

Γιατί αυτό έχει σημασία για τις πλατφόρμες πρακτόρων

Η χρέωση AI γίνεται ανταγωνιστική λειτουργία. Κατά τη διάρκεια του πρώτου κύματος υιοθέτησης του API, η πρόσβαση στο μοντέλο και η απόδοση του σημείου αναφοράς κυριάρχησαν στη συζήτηση για τις αγορές. Καθώς η χρήση μεταφέρθηκε στην παραγωγή, τα ανεπίλυτα προβλήματα έγιναν πιο εγκόσμια και ακριβότερα: προϋπολογισμοί, τιμολόγια, απόδοση, λογιστική κρυφής μνήμης, όρια έργων, ανίχνευση ανωμαλιών και σύγκριση παρόχων.

Η κίνηση της Google είναι ένα μήνυμα ότι οι πλατφόρμες υπερκλίμακας αναμένουν από τους αγοραστές να απαιτούν αυτούς τους ελέγχους απευθείας μέσα σε προϊόντα τεχνητής νοημοσύνης. Το Gemini Enterprise δεν τοποθετείται μόνο ως χώρος χρήσης μοντέλων. Είναι όλο και περισσότερο ένα μέρος για τη διαχείριση των λειτουργικών συνεπειών της χρήσης μοντέλων σε κλίμακα.

Αυτό αλλάζει τις προσδοκίες για την υπόλοιπη αγορά. Εάν οι σουίτες τεχνητής νοημοσύνης που είναι εγγενείς στο cloud μπορούν να εξηγήσουν τη δαπάνη ανά έργο και κλειδί API, οι πλατφόρμες και οι πύλες πολλαπλών μοντέλων αναμένεται να κάνουν τουλάχιστον το ίδιο στους παρόχους. Μια ομάδα που τρέχει OpenAI, Anthropic, Google, μοντέλα που φιλοξενούνται από AWS και αναπτύξεις ανοιχτού βάρους μέσω μιας στοίβας εφαρμογών δεν μπορεί να βασίζεται μόνο στο επίπεδο FinOps ενός cloud. Χρειάζεται μια κανονικοποιημένη άποψη χρήσης, επιλογής μοντέλου και κόστους σε ολόκληρη την περιουσία.

Για Model Gate και παρόμοιες πύλες συμβατές με OpenAI, η πρακτική σύνδεση είναι άμεση. Η ενοποιημένη χρέωση και τα αναλυτικά στοιχεία χρήσης τεχνητής νοημοσύνης δεν είναι πλέον ευκολίες back-office. Αποτελούν μέρος του επιπέδου ελέγχου που χρησιμοποιούν οι προγραμματιστές και οι ιδιοκτήτες επιχειρήσεων για να αποφασίσουν ποια μοντέλα θα πρέπει να είναι διαθέσιμα, ποιες ομάδες μπορούν να τα χρησιμοποιήσουν και όταν ένας φόρτος εργασίας έχει γίνει πολύ ακριβός για να εκτελεστεί όπως έχει σχεδιαστεί.

Ποιος επηρεάζεται

Οι προγραμματιστές επιχειρήσεων που χρησιμοποιούν Gemini API ή Vertex AI είναι το πιο άμεσο κοινό. Οι ομάδες με πολλά κλειδιά API, λογαριασμούς υπηρεσιών, περιβάλλοντα ή εσωτερικούς πράκτορες θα πρέπει να λαμβάνουν καλύτερα μηνύματα σχετικά με το πού προέρχονται οι δαπάνες που σχετίζονται με το Gemini, με την προϋπόθεση ότι υιοθετούν τα νέα εργαλεία και οργανώνουν τα έργα τους καθαρά.

Επηρεάζονται επίσης οι ομάδες οικονομικών και προμηθειών. Το κόστος της τεχνητής νοημοσύνης μπορεί να είναι δύσκολο να προβλεφθεί, επειδή οι κλίμακες χρήσης με τον όγκο εργασιών και τη συμπεριφορά των πρακτόρων, όχι μόνο με τον αριθμό εργαζομένων. Η συγκέντρωση ορίων σε επίπεδο έργου και η αναφορά σε επίπεδο κλειδιού API μπορούν να καταστήσουν την εσωτερική αντιστροφή χρέωσης, τις αναθεωρήσεις προϋπολογισμού και τον προγραμματισμό ανανέωσης λιγότερο εξαρτώμενες από τη μη αυτόματη εργασία υπολογιστικών φύλλων.

Οι ομάδες προϊόντων που δημιουργούν χαρακτηριστικά τεχνητής νοημοσύνης έχουν μια διαφορετική ανησυχία: το περιθώριο. Εάν ένας αντιπρόσωπος που αντιμετωπίζει πελάτες χρησιμοποιεί ένα μοντέλο premium πολύ συχνά ή εάν μια ροή εργασιών στο παρασκήνιο επαναλαμβάνει υπερβολικά, το κόστος μπορεί να υπερβεί αθόρυβα τα έσοδα που συνδέονται με αυτήν τη δυνατότητα. Η καλύτερη απόδοση βοηθά τις ομάδες να κατανοήσουν αυτά τα μοτίβα προτού γίνουν δομικές απώλειες.

Οι αντιπροσωπείες, οι μεταπωλητές και οι πάροχοι διαχειριζόμενων υπηρεσιών θα πρέπει επίσης να δώσουν προσοχή. Οι πελάτες όλο και περισσότερο ρωτούν όχι μόνο εάν μια λειτουργία τεχνητής νοημοσύνης λειτουργεί, αλλά και αν μπορεί να ρυθμιστεί η χρήση της. Για συνεργάτες που δημιουργούν υπηρεσίες πάνω από ένα API πολλαπλών μοντέλων, η αναφορά κόστους ανά πελάτη, έργο, κλειδί API και μοντέλο γίνεται μέρος της προσφοράς.

Τα όρια της προσέγγισης της Google

Το ανοιχτό ερώτημα είναι πόσο μειώνουν αυτά τα εργαλεία στην πράξη τη συνολική δαπάνη για τεχνητή νοημοσύνη. Τα μηνύματα της Google σχετικά με την αποφυγή του "σοκ με αυτοκόλλητα" της τεχνητής νοημοσύνης είναι κατανοητά, αλλά οι εξοικονομήσεις εξαρτώνται από τη συμπεριφορά των πελατών: εάν οι ομάδες ορίζουν προϋπολογισμούς, ενεργούν σε ανωμαλίες, αλλάζουν επιλογές μοντέλων, διορθώνουν αναποτελεσματικούς πράκτορες ή επανασχεδιάζουν ροές εργασίας. Η ορατότητα είναι απαραίτητη, αλλά δεν είναι το ίδιο με τη βελτιστοποίηση.

Υπάρχει επίσης μια ερώτηση κλειδώματος. Τα εγγενή εργαλεία κόστους cloud είναι χρήσιμα μέσα στο δικό τους οικοσύστημα, αλλά πολλές εταιρείες κατανέμουν σκόπιμα φόρτο εργασίας AI σε όλους τους παρόχους. Μια προβολή ειδικά για Gemini ή με επίκεντρο το Google Cloud ενδέχεται να μην εξηγεί το πλήρες κόστος μιας εφαρμογής που καλεί επίσης τερματικά συμβατά με OpenAI αλλού, χρησιμοποιεί το Bedrock για περιφερειακή δρομολόγηση ή εκτελεί ιδιωτικά μοντέλα ανοιχτού βάρους.

Εκεί οι πύλες μπορούν ακόμα να προσθέτουν αξία. Ένας πάροχος cloud μπορεί να εκθέσει πλούσιες λεπτομέρειες για τις δικές του υπηρεσίες. Μια πύλη μπορεί να ομαλοποιήσει τη χρήση και τη χρέωση σε παρόχους μοντέλων, κλειδιά API, ομάδες, εφαρμογές και πελάτες. Όσο περισσότεροι προμηθευτές cloud κάνουν ορατά τα AI FinOps, τόσο περισσότεροι αγοραστές θα ζητούν την ίδια ορατότητα σε κάθε μοντέλο που χρησιμοποιούν.

Τι πρέπει να κάνουν οι προγραμματιστές τώρα

Οι ομάδες που χρησιμοποιούν το Gemini Enterprise θα πρέπει να ελέγχουν πώς είναι δομημένα τα έργα και τα κλειδιά API. Εάν τα κλειδιά κοινοποιούνται σε πάρα πολλές εφαρμογές ή περιβάλλοντα, η αναφορά δαπανών σε επίπεδο κλειδιού API θα είναι λιγότερο χρήσιμη. Η καθαρή απόδοση ξεκινά με το διαχωρισμό της παραγωγής από την ανάπτυξη, των υπηρεσιών που απευθύνονται σε πελάτες από τα πειράματα και των πρακτόρων υψηλού κινδύνου από τη συνηθισμένη διαδραστική χρήση.

Οι προγραμματιστές θα πρέπει επίσης να αντιμετωπίζουν τα δεδομένα κόστους ως σήμα μηχανικής. Οι αιχμές στη δαπάνη μοντέλων μπορεί να αποκαλύψουν αναποτελεσματικές προτροπές, βρόχους διαφυγόντων αντιπροσώπων, απροσδόκητες επαναλήψεις, υπερβολικά παράθυρα περιβάλλοντος ή επιλογές μοντέλων που δεν ταιριάζουν πλέον με την εργασία. Η παρατηρησιμότητα κόστους ανήκει δίπλα στον λανθάνοντα χρόνο, το ποσοστό σφάλματος και την αξιολόγηση ποιότητας, όχι σε μηνιαίο έλεγχο τιμολογίου μετά την πραγματοποίηση της ζημιάς.

Η ανακοίνωση της Google δεν είναι απλώς μια ακόμη ενημέρωση χρέωσης. Αντικατοπτρίζει μια ευρύτερη αλλαγή στην υποδομή τεχνητής νοημοσύνης: καθώς οι πράκτορες γίνονται πιο αυτόνομοι και η χρήση του API γίνεται πιο μεταβλητή, η ικανότητα επεξήγησης και ελέγχου των δαπανών γίνεται βασική απαίτηση πλατφόρμας.