OpenAI a lansat GPT-6.1 Terra prin API-urile Responses and Chat Completions pe 26 octombrie, adăugând un model cu preț mai mic, destinat sarcinilor de lucru care includ utilizarea computerului. Rata standard API este de 1 USD per milion de jetoane de intrare, 0,05 USD per milion de jetoane de intrare stocate în cache și 5 USD per milion de jetoane de ieșire.
Terra se lansează și în ChatGPT Work și Codex, dar nu este disponibil în experiența standard ChatGPT. Această distincție contează pentru companiile care comunică accesul clienților: o listă API, lansarea unui produs la locul de muncă și disponibilitatea în interfața de chat pentru consumatori sunt canale de distribuție separate.
Lansarea creează o nouă opțiune de rutare OpenAI între modelele ieftine utilizate pentru clasificare sau extragere și modele de raționament mai costisitoare. De asemenea, oferă operatorilor de gateway o problemă operațională familiară: prețul principal este doar începutul lucrării de integrare.
Prețul Terra depinde de forma volumului de lucru
La tarifele publicate, jetoanele de ieșire costă de cinci ori mai mult decât jetoanele de intrare obișnuite. Intrarea în cache are un preț de 5% din rata de intrare standard. Aplicațiile care trimit în mod repetat instrucțiuni stabile, descrieri de instrumente sau alt context reutilizabil ar putea, prin urmare, să vadă un profil de cost diferit de aplicațiile care generează răspunsuri mari sau își modifică continuu solicitările.
Acest lucru este relevant în special pentru agenții care folosesc computerul. Astfel de sisteme pot rula prin mai multe cicluri de observare, raționament și acțiune înainte de a finaliza o sarcină. Chiar și atunci când prețul de intrare al modelului este scăzut, ieșirile detaliate sau buclele lungi de instrumente pot crește factura totală. Prin urmare, rata anunțată de OpenAI ar trebui evaluată în raport cu costul sarcinii complete, nu numai cu prețul primei solicitări.
Echipele care utilizează AI unificată API facturare vor avea nevoie de contabilitate separată pentru intrarea obișnuită, intrarea și ieșirea din cache. Restrângerea acestor categorii într-o singură cifră combinată de simboluri ar ascunde atât taxele clienților, cât și marjele gateway-ului. Evaluările ar trebui să înregistreze indicativele și costurile pe parcursul întregii rulări ale agentului, inclusiv pașii și încercările eșuate.
Gateway-urile necesită actualizări de metadate, politici și compatibilitate
Adăugarea Terra la o poartă multi-model API pentru echipe necesită mai mult decât înregistrarea ID-ului modelului său. Înregistrările de catalog au nevoie de cele trei rate de simboluri, suprafețele API acceptate, metadate de capacitate și restricții regionale. Sistemele de rutare trebuie, de asemenea, să distingă dacă o sarcină de lucru beneficiază de stocarea în cache promptă și dacă este probabil să producă suficientă ieșire sau iterații de instrumente pentru a șterge avantajul aparent al prețului de intrare.
OpenAI spune că rezidența inferenței în Emiratele Arabe Unite nu este acceptată pentru acest model. Un gateway care promite gestionarea regională nu poate trata Terra ca un înlocuitor interschimbabil pentru un alt model OpenAI atunci când un chiriaș cere rezidența în Emiratele Arabe Unite. Restricția ar trebui să fie vizibilă în descoperirea modelului, impusă în politica de rutare și păstrată în jurnalele de solicitări, astfel încât operatorii să poată explica de ce o solicitare a fost blocată sau trimisă în altă parte.
Revânzătorii se confruntă cu o problemă suplimentară de comunicare. O platformă de reseller AI API nu ar trebui să implice faptul că abonamentul ChatGPT al unui client include acces Terra API sau că disponibilitatea API înseamnă că modelul poate fi selectat în standardul ChatGPT. Cataloagele de produse și rapoartele de utilizare adresate clienților ar trebui să identifice separat canalul de acces și modelul eficient.
Pentru serviciile Model Gate și similare compatibile cu OpenAI, lista practică de verificare a versiunii include adăugarea modelului, aplicarea prețurilor care țin seama de cache, expunerea limitării de rezidență și testarea comportamentului atât a răspunsurilor, cât și a finalizării chatului. Regulile de marjă pot necesita, de asemenea, revizuite dacă tokenurile stocate în cache sunt transferate la costul furnizorului, în timp ce intrările și ieșirile obișnuite au markupuri diferite.
Afirmațiile de performanță necesită încă testare independentă
OpenAI a raportat îmbunătățiri ale capacității, vitezei și halucinațiilor pentru Terra, dar aceste afirmații nu au fost toate reproduse în mod independent. Comparația corectă va varia și în funcție de volumul de muncă. Un model care este economic pentru răspunsuri scurte structurate poate fi mai puțin atractiv pentru un agent care emite un raționament amplu, reîncearcă acțiuni sau desfășoară sesiuni lungi de utilizare a computerului.
Dezvoltatorii ar trebui să analizeze Terra cu solicitări reprezentative, instrumente și limite de finalizare, mai degrabă decât să transfere rezultatele de la testele convenționale de chat. Măsurătorile utile includ rata de finalizare a sarcinii, latența de la un capăt la altul, frecvența accesării cache-ului, volumul de ieșire, numărul de cicluri de instrumente și costul total pentru sarcina reușită.
Semnificația imediată a Terrei nu este, prin urmare, că este universal mai ieftină. Oferă API cumpărătorilor o altă OpenAI bandă de preț și oferă sistemelor de rutare un alt set de compromisuri pentru model. Reducerea costurilor de producție va depinde de comportamentul de stocare în cache, lungimea răspunsului, eficiența buclei agentului și politicile regionale atașate fiecărei solicitări.