OpenAI κυκλοφόρησε το GPT-6.1 Terra μέσω των API απαντήσεων και ολοκλήρωσης συνομιλίας στις 26 Οκτωβρίου, προσθέτοντας ένα μοντέλο χαμηλότερης τιμής που στοχεύει σε φόρτους εργασίας που περιλαμβάνουν χρήση υπολογιστή. Η τυπική τιμή API είναι 1 $ ανά εκατομμύριο διακριτικά εισόδου, 0,05 $ ανά εκατομμύριο διακριτικά εισόδου στην κρυφή μνήμη και 5 $ ανά εκατομμύριο διακριτικά εξόδου.
ΤοΤο Terra κυκλοφορεί επίσης σε ChatGPT Work και Codex, αλλά δεν είναι διαθέσιμο στην τυπική εμπειρία ChatGPT. Αυτή η διάκριση έχει σημασία για τις επιχειρήσεις που επικοινωνούν την πρόσβαση στους πελάτες: μια καταχώριση API, μια διάθεση προϊόντος στο χώρο εργασίας και η διαθεσιμότητα στη διεπαφή συνομιλίας των καταναλωτών είναι ξεχωριστά κανάλια διανομής.
Η κυκλοφορία δημιουργεί μια νέα OpenAI επιλογή δρομολόγησης μεταξύ φθηνών μοντέλων που χρησιμοποιούνται για ταξινόμηση ή εξαγωγή και πιο δαπανηρών μοντέλων συλλογισμού. Δίνει επίσης στους χειριστές πύλης ένα οικείο λειτουργικό πρόβλημα: η τιμή επικεφαλίδας είναι μόνο η αρχή της εργασίας ολοκλήρωσης.
Η τιμή του Terra εξαρτάται από το σχήμα του φόρτου εργασίας
Στις δημοσιευμένες τιμές, τα διακριτικά εξόδου κοστίζουν πέντε φορές περισσότερο από τα συνηθισμένα διακριτικά εισόδου. Η τιμή της εισόδου στην κρυφή μνήμη είναι 5% του τυπικού ρυθμού εισόδου. Ως εκ τούτου, οι εφαρμογές που στέλνουν επανειλημμένα σταθερές οδηγίες, περιγραφές εργαλείων ή άλλο περιβάλλον επαναχρησιμοποιήσιμο θα μπορούσαν να δουν ένα ουσιαστικά διαφορετικό προφίλ κόστους από εφαρμογές που δημιουργούν μεγάλες αποκρίσεις ή αλλάζουν συνεχώς τις προτροπές τους.
Αυτό είναι ιδιαίτερα σχετικό με πράκτορες χρήσης υπολογιστή. Τέτοια συστήματα μπορούν να εκτελούνται μέσω πολλαπλών κύκλων παρατήρησης, συλλογισμού και δράσης πριν από την ολοκλήρωση μιας εργασίας. Ακόμη και όταν η τιμή εισόδου του μοντέλου είναι χαμηλή, οι αναλυτικές έξοδοι ή οι μακριές βρόχοι εργαλείων μπορούν να αυξήσουν τον συνολικό λογαριασμό. Επομένως, η ανακοινωθείσα τιμή του OpenAI θα πρέπει να αξιολογηθεί έναντι του πλήρους κόστους εργασίας, όχι μόνο με την τιμή του πρώτου αιτήματος.
Οι ομάδες που χρησιμοποιούν ενοποιημένη τεχνητή νοημοσύνη API χρέωση θα χρειαστούν ξεχωριστή λογιστική για τη συνήθη είσοδο, την κρυφή είσοδο και την έξοδο. Η σύμπτυξη αυτών των κατηγοριών σε ένα μεικτό ψηφίο συμβολικών θα αποκρύψει τόσο τις χρεώσεις των πελατών όσο και τα περιθώρια πύλης. Οι αξιολογήσεις θα πρέπει να καταγράφουν τα διακριτικά και το κόστος σε ολόκληρη την εκτέλεση του πράκτορα, συμπεριλαμβανομένων των αποτυχημένων βημάτων και των επαναλήψεων.
Οι πύλες χρειάζονται ενημερώσεις μεταδεδομένων, πολιτικής και συμβατότητας
Η προσθήκη του Terra σε μια πύλη πολλαπλών μοντέλων API για ομάδες απαιτεί περισσότερα από την εγγραφή του αναγνωριστικού μοντέλου. Οι εγγραφές καταλόγου χρειάζονται τα τρία διακριτικά ποσοστά, τις υποστηριζόμενες API επιφάνειες, τα μεταδεδομένα δυνατοτήτων και τους τοπικούς περιορισμούς. Τα συστήματα δρομολόγησης πρέπει επίσης να διακρίνουν εάν ένας φόρτος εργασίας επωφελείται από την άμεση αποθήκευση στην κρυφή μνήμη και εάν είναι πιθανό να παράγει αρκετά αποτελέσματα ή επαναλήψεις εργαλείων για να διαγράψει το προφανές πλεονέκτημα τιμής εισόδου.
ΤοOpenAI λέει ότι η καταγωγή συμπερασμάτων των ΗΑΕ δεν υποστηρίζεται για αυτό το μοντέλο. Μια πύλη που υπόσχεται τοπικό χειρισμό δεν μπορεί να αντιμετωπίζει το Terra ως εναλλάξιμο υποκατάστατο ενός άλλου μοντέλου OpenAI όταν ένας ενοικιαστής απαιτεί άδεια διαμονής ΗΑΕ. Ο περιορισμός θα πρέπει να είναι ορατός στην ανακάλυψη μοντέλου, να επιβάλλεται στην πολιτική δρομολόγησης και να διατηρείται στα αρχεία καταγραφής αιτημάτων, ώστε οι χειριστές να μπορούν να εξηγούν γιατί ένα αίτημα αποκλείστηκε ή στάλθηκε αλλού.
Οι μεταπωλητές αντιμετωπίζουν ένα επιπλέον πρόβλημα επικοινωνίας. Μια AI API πλατφόρμα μεταπωλητών δεν πρέπει να σημαίνει ότι η συνδρομή ChatGPT ενός πελάτη περιλαμβάνει πρόσβαση Terra API ή ότι η διαθεσιμότητα API σημαίνει ότι το μοντέλο μπορεί να επιλεγεί στο τυπικό ChatGPT. Οι κατάλογοι προϊόντων και οι αναφορές χρήσης που αντιμετωπίζουν οι πελάτες θα πρέπει να προσδιορίζουν ξεχωριστά το κανάλι πρόσβασης και το αποτελεσματικό μοντέλο.
Για Model Gate και παρόμοιες υπηρεσίες συμβατές με το OpenAI, η πρακτική λίστα ελέγχου έκδοσης περιλαμβάνει την προσθήκη του μοντέλου, την εφαρμογή τιμών με επίγνωση της προσωρινής μνήμης, την έκθεση του περιορισμού διαμονής και τον έλεγχο της συμπεριφοράς των απαντήσεων και των ολοκληρώσεων συνομιλίας. Οι κανόνες περιθωρίου ενδέχεται επίσης να χρειάζονται αναθεώρηση εάν τα αποθηκευμένα διακριτικά διαβιβάζονται με κόστος παρόχου, ενώ η κανονική είσοδος και έξοδος φέρουν διαφορετικές σημάνσεις.
Οι αξιώσεις απόδοσης εξακολουθούν να χρειάζονται ανεξάρτητη δοκιμή
ΟOpenAI ανέφερε βελτιώσεις στην ικανότητα, την ταχύτητα και τις παραισθήσεις για το Terra, αλλά αυτοί οι ισχυρισμοί δεν έχουν αναπαραχθεί όλοι ανεξάρτητα. Η σωστή σύγκριση θα διαφέρει επίσης ανάλογα με το φόρτο εργασίας. Ένα μοντέλο που είναι οικονομικό για σύντομες δομημένες αποκρίσεις μπορεί να είναι λιγότερο ελκυστικό για έναν πράκτορα που εκπέμπει εκτενή συλλογισμό, επαναλαμβάνει ενέργειες ή εκτελεί μακροχρόνιες περιόδους λειτουργίας υπολογιστή.
Οι προγραμματιστές θα πρέπει να αξιολογούν το Terra με αντιπροσωπευτικά μηνύματα προτροπής, εργαλεία και όρια ολοκλήρωσης αντί να μεταφέρουν αποτελέσματα από συμβατικές δοκιμές συνομιλίας. Οι χρήσιμες μετρήσεις περιλαμβάνουν το ρυθμό ολοκλήρωσης εργασιών, τον λανθάνοντα χρόνο από άκρο σε άκρο, τη συχνότητα επίσκεψης προσωρινής μνήμης, τον όγκο εξόδου, τον αριθμό των κύκλων εργαλείων και το συνολικό κόστος ανά επιτυχημένη εργασία.
Επομένως, η άμεση σημασία του Terra δεν είναι ότι είναι παγκοσμίως φθηνότερη. Δίνει στους αγοραστές API άλλο ένα OpenAI εύρος τιμών και δίνει στα συστήματα δρομολόγησης άλλο ένα σύνολο αντισταθμίσεων στο μοντέλο. Το αν θα μειώσει το κόστος παραγωγής θα εξαρτηθεί από τη συμπεριφορά προσωρινής αποθήκευσης, το μήκος απόκρισης, την αποτελεσματικότητα του βρόχου πράκτορα και τις περιφερειακές πολιτικές που συνδέονται με κάθε αίτημα.