OpenAI ha rilasciato GPT-6.1 Terra tramite le API Responses e Chat Completions il 26 ottobre, aggiungendo un modello a prezzo inferiore destinato ai carichi di lavoro che includono l'uso del computer. La tariffa standard API è di 1 $ per milione di token di input, 0,05 $ per milione di token di input memorizzati nella cache e 5 $ per milione di token di output.
Terra è in fase di implementazione anche in ChatGPT Work e Codex, ma non è disponibile nell'esperienza standard ChatGPT. Questa distinzione è importante per le aziende che comunicano l'accesso ai clienti: un elenco API, il lancio di un prodotto sul posto di lavoro e la disponibilità nell'interfaccia della chat del consumatore sono canali di distribuzione separati.
Il lancio crea una nuova OpenAI opzione di routing tra modelli poco costosi utilizzati per la classificazione o l'estrazione e modelli di ragionamento più costosi. Inoltre, pone agli operatori gateway un problema operativo familiare: il prezzo principale è solo l'inizio del lavoro di integrazione.
Il prezzo di Terra dipende dalla forma del carico di lavoro
Alle tariffe pubblicate, i token di output costano cinque volte di più dei normali token di input. Il prezzo dell'input memorizzato nella cache è pari al 5% della tariffa dell'input standard. Le applicazioni che inviano ripetutamente istruzioni stabili, descrizioni di strumenti o altro contesto riutilizzabile potrebbero quindi vedere un profilo di costo sostanzialmente diverso dalle applicazioni che generano risposte di grandi dimensioni o modificano continuamente le proprie richieste.
Ciò è particolarmente rilevante per gli agenti che utilizzano il computer. Tali sistemi possono essere eseguiti attraverso molteplici cicli di osservazione, ragionamento e azione prima di completare un compito. Anche quando il prezzo di input del modello è basso, output dettagliati o cicli di strumenti lunghi possono aumentare il conto totale. La tariffa annunciata da OpenAI dovrebbe pertanto essere valutata rispetto al costo completo dell'attività, non solo al prezzo della prima richiesta.
I team che utilizzano AI unificata API fatturazione avranno bisogno di una contabilità separata per l'input ordinario, l'input e l'output memorizzati nella cache. Comprimere tali categorie in un unico valore simbolico misto oscurerebbe sia le tariffe dei clienti che i margini del gateway. Le valutazioni dovrebbero registrare i token e i costi durante l'esecuzione completa dell'agente, inclusi i passaggi e i tentativi non riusciti.
I gateway necessitano di aggiornamenti di metadati, criteri e compatibilità
L'aggiunta di Terra a un gateway multi-modello API per i team richiede molto più della semplice registrazione dell'ID modello. I record del catalogo necessitano delle tre tariffe dei token, delle API superfici supportate, dei metadati delle funzionalità e delle restrizioni regionali. I sistemi di routing devono anche distinguere se un carico di lavoro trae vantaggio dalla memorizzazione nella cache tempestiva e se è probabile che produca output o iterazioni di strumenti sufficienti per cancellare l'apparente vantaggio del prezzo di input.
OpenAI indica che la residenza di inferenza negli Emirati Arabi Uniti non è supportata per questo modello. Un gateway che promette la gestione regionale non può trattare Terra come un sostituto intercambiabile per un altro modello OpenAI quando un tenant richiede la residenza negli Emirati Arabi Uniti. La restrizione dovrebbe essere visibile nel rilevamento del modello, applicata nella policy di routing e conservata nei log delle richieste in modo che gli operatori possano spiegare perché una richiesta è stata bloccata o inviata altrove.
I rivenditori devono affrontare un ulteriore problema di comunicazione. Una AI API piattaforma di rivenditori non dovrebbe implicare che l'abbonamento ChatGPT di un cliente includa l'accesso a Terra API o che la API disponibilità significhi che il modello può essere selezionato nello standard ChatGPT. I cataloghi dei prodotti e i report sull'utilizzo rivolti ai clienti dovrebbero identificare separatamente il canale di accesso e il modello efficace.
Per Model Gate e servizi simili compatibili con OpenAI, l'elenco di controllo pratico del rilascio include l'aggiunta del modello, l'applicazione di prezzi in base alla cache, l'esposizione della limitazione di residenza e il test del comportamento delle risposte e dei completamenti della chat. Le regole sul margine potrebbero anche richiedere una revisione se i token memorizzati nella cache vengono trasferiti a costo del fornitore mentre l'input e l'output ordinari comportano markup diversi.
Le dichiarazioni sulle prestazioni necessitano ancora di test indipendenti
OpenAI ha segnalato miglioramenti di capacità, velocità e allucinazioni per Terra, ma tali affermazioni non sono state tutte riprodotte in modo indipendente. Il giusto confronto varierà anche in base al carico di lavoro. Un modello economico per risposte strutturate brevi può essere meno attraente per un agente che emette ragionamenti estesi, riprova azioni o esegue lunghe sessioni di utilizzo del computer.
Gli sviluppatori dovrebbero confrontare Terra con suggerimenti, strumenti e limiti di completamento rappresentativi anziché trasferire i risultati dei test di chat convenzionali. Misurazioni utili includono la percentuale di completamento delle attività, la latenza end-to-end, la frequenza di utilizzo della cache, il volume di output, il numero di cicli dello strumento e il costo totale per attività riuscita.
L'importanza immediata di Terra non è quindi che sia universalmente più economica. Fornisce a API acquirenti un'altra OpenAI fascia di prezzo e fornisce ai sistemi di routing un'altra serie di compromessi da modellare. La riduzione dei costi di produzione dipenderà dal comportamento della memorizzazione nella cache, dalla durata della risposta, dall'efficienza del loop dell'agente e dalle policy regionali allegate a ciascuna richiesta.