Google εισήγαγε τις Gemini Αποφάσεις API, ένα νέο τελικό σημείο για εφαρμογές που χρειάζονται περιορισμένες απαντήσεις αντί να δημιουργούνται πεζογραφία. Κυκλοφόρησε στις 11 Νοεμβρίου, το API μπορεί να αξιολογήσει έως και 1.000 ερωτήσεις ναι ή όχι, πολλαπλής επιλογής ή βαθμολόγησης ρουμπρίκων σε ένα αίτημα.
Το τελικό σημείο δέχεται εισόδους κειμένου, εικόνων, ήχου, βίντεο και PDF εντός ορίου εισόδου 256.000 διακριτικών. Αντί να επιστρέψει μια απάντηση σε δοκίμιο ή συνομιλία, παράγει πιθανότητες και βαθμούς εμπιστοσύνης που μπορεί να χρησιμοποιήσει το λογισμικό για ταξινόμηση, κατάταξη, ελέγχους πολιτικής και δρομολόγηση. Ο Google λέει ότι τα αιτήματα μπορούν να ολοκληρωθούν με λανθάνουσα κατάσταση από άκρο σε άκρο από 150 έως 250 χιλιοστά του δευτερολέπτου, αν και αυτός ο αριθμός απόδοσης δεν έχει ακόμη καθοριστεί ανεξάρτητα σε όλους τους φόρτους εργασίας παραγωγής.
Μια ξεχωριστή API επιφάνεια για αποφάσεις
Η κυκλοφορία είναι πιο σημαντική από την προσθήκη ενός άλλου μοντέλου Gemini σε έναν κατάλογο παρόχων. Οι περισσότερες ενσωματώσεις συμβατές με OpenAI προϋποθέτουν ένα γενετικό αίτημα: ο πελάτης στέλνει μηνύματα ή στοιχεία εισόδου, το μοντέλο επιστρέφει κείμενο ή δομημένη έξοδο και ο πάροχος χρεώνει για κάποιο συνδυασμό διακριτικών εισόδου και εξόδου.
Gemini Οι αποφάσεις χρησιμοποιούν διαφορετική σύμβαση. Μια εφαρμογή παρέχει υλικό πηγής και ένα περιορισμένο σύνολο ερωτήσεων και, στη συνέχεια, λαμβάνει αριθμητικά στοιχεία για κάθε πιθανή απάντηση. Αυτός ο σχεδιασμός είναι κατάλληλος για εργασίες όπως η απόφαση για το εάν το περιεχόμενο πρέπει να εισέλθει σε μια ουρά αναθεώρησης, η επιλογή ενός μοντέλου για ένα αίτημα, η βαθμολόγηση του ανακτημένου περιβάλλοντος ή η εφαρμογή μιας τεκμηριωμένης ρουμπρίκας βαθμολόγησης.
Οι προγραμματιστές θα μπορούσαν να προσεγγίσουν αυτές τις ροές εργασίας με συνηθισμένη δημιουργία κειμένου, αλλά οι απαντήσεις που δημιουργούνται απαιτούν ανάλυση και μπορούν να εισάγουν διατύπωση που δεν χρειάζεται η εφαρμογή. Ένα συγκεκριμένο τελικό σημείο απόφασης παρέχει μια πιο σαφή διεπαφή: το ουσιαστικό αποτέλεσμα είναι η επιλεγμένη επιλογή και η σχετική πιθανότητα ή εμπιστοσύνη, όχι ένα απόσπασμα πεζογραφίας.
Η τιμολόγηση αλλάζει το μοντέλο μέτρησης
ΤοGoogle παραθέτει την τιμή στα 0,10 $ ανά εκατομμύριο διακριτικά εισόδου και δεν χρεώνει τα διακριτικά εξόδου. Αυτή είναι μια σημαντική απόκλιση από τη λογιστική εισροών-εκροών που χρησιμοποιούν τα συμβατικά μοντέλα παραγωγής. Σημαίνει επίσης ότι ένα αίτημα μπορεί να επιστρέψει εμπορικά σημαντικά δεδομένα, παρόλο που ο αριθμός των χρεώσιμων στοιχείων εξόδου του είναι μηδέν.
Επομένως, οι χειριστές πυλών δεν μπορούν να βασίζονται μόνο στα σύνολα των διακριτικών. Τα αρχεία χρήσης πρέπει να διατηρούν τον τύπο φόρτου εργασίας, τον όγκο εισόδου, τον αριθμό των ερωτήσεων και τα σχετικά μεταδεδομένα απαντήσεων. Συστήματα που προσφέρουν ενοποιημένη AI API χρέωση μπορεί επίσης να χρειάζονται έναν ξεχωριστό κανόνα της κάρτας τιμών, έτσι ώστε μια τιμή μηδενικού διακριτικού εξόδου να μην θεωρείται λανθασμένα ως λείπει ή ημιτελής εγγραφή χρήσης.
Η ομαδοποίηση δημιουργεί μια άλλη λειτουργική ερώτηση. Η υποστήριξη έως και 1.000 ερωτήσεων σε ένα αίτημα μπορεί να μειώσει την επιβάρυνση του δικτύου, αλλά οι επιχειρήσεις θα πρέπει ακόμα να αποφασίσουν πώς θα αποδοθεί αυτή η εργασία εσωτερικά. Μια κλήση API μπορεί να αντιπροσωπεύει εκατοντάδες ελέγχους εποπτείας, αποφάσεις δρομολόγησης ή βαθμολογίες εγγράφων που πραγματοποιούνται για διαφορετικά προϊόντα ή πελάτες.
Η συμβατότητα υπερβαίνει την αλλαγή ονόματος μοντέλου
Το μοντέλο είναι διαθέσιμο μέσω του Gemini API στο Google AI Studio. Για ομάδες που καλούν απευθείας το Google, η υιοθέτηση θα απαιτεί έναν πελάτη που κατανοεί τις δομές αιτημάτων και απόκρισης με γνώμονα τις αποφάσεις. Για μια πύλη πολλαπλών μοντέλων API για ομάδες, η αποκάλυψη του τελικού σημείου σαν να ήταν ένα συνηθισμένο μοντέλο συνομιλίας θα έκρυβε σημαντική συμπεριφορά και θα μπορούσε να καταστήσει διφορούμενο τον χειρισμό σφαλμάτων, τα αναλυτικά στοιχεία και τη χρέωση.
Ένας πιο καθαρός σχεδιασμός πύλης θα προσδιορίσει τις αποφάσεις ως ξεχωριστή κατηγορία φόρτου εργασίας. Η πολιτική δρομολόγησης θα μπορούσε στη συνέχεια να στείλει εργασία περιορισμένης ταξινόμησης και βαθμολόγησης στο νέο τελικό σημείο, δεσμεύοντας παράλληλα μοντέλα δημιουργίας για αιτήματα που απαιτούν πραγματικά έξοδο γλώσσας. Τα στοιχεία ελέγχου αποδοχής θα πρέπει επίσης να επικυρώνουν τον αριθμό ερωτήσεων, τα υποστηριζόμενα μέσα και το μέγεθος εισόδου πριν από την προώθηση ενός αιτήματος.
Τα δεδομένα εμπιστοσύνης αξίζουν προσεκτικής αντιμετώπισης. Μια βαθμολογία είναι χρήσιμη για κατώφλια και κανόνες κλιμάκωσης, αλλά δεν αποτελεί απόδειξη ότι μια απόφαση είναι σωστή ή βαθμονομημένη για κάθε τομέα. Οι ομάδες που χρησιμοποιούν το API για επακόλουθες ροές εργασίας πολιτικής ή συμμόρφωσης θα χρειαστούν τις δικές τους αξιολογήσεις, δοκιμές κατωφλίου και διαδρομές ανθρώπινης αξιολόγησης αντί να υιοθετήσουν μία καθολική αποκοπή.
Τι παραμένει αναπόδεικτο
Η ανακοίνωση τουGoogle καθορίζει το σχήμα API, τη δημοσιευμένη τιμή και τον ισχυριζόμενο λανθάνοντα χρόνο, αλλά ανεξάρτητα στοιχεία σχετικά με τη διαθεσιμότητα και την απόδοση της παραγωγής παραμένουν περιορισμένα. Ο πραγματικός λανθάνοντας χρόνος θα εξαρτηθεί επίσης από το μέγεθος ωφέλιμου φορτίου, την επεξεργασία πολυμέσων, τη γεωγραφία και τον όγκο αιτημάτων.
Επομένως, η άμεση μηχανική εργασία είναι η ελεγχόμενη αξιολόγηση και όχι η ευρεία αντικατάσταση των υπαρχόντων ταξινομητών. Οι προγραμματιστές θα πρέπει να δοκιμάσουν αντιπροσωπευτικές πολυτροπικές εισροές, να συγκρίνουν βαθμολογίες εμπιστοσύνης με γνωστά αποτελέσματα και να επαληθεύσουν πώς συμπεριφέρονται τα σφάλματα και τα μερικά αποτελέσματα σε μεγάλες παρτίδες ερωτήσεων. Οι ομάδες πύλης και πλατφόρμας θα πρέπει επιπλέον να επιβεβαιώσουν ότι τα αρχεία καταγραφής τους μπορούν να διακρίνουν ένα αίτημα απόφασης από τη δημιουργία προτού καταστήσουν το τελικό σημείο διαθέσιμο στους πελάτες.