OpenAI vydala GPT-6.1 Terra prostredníctvom rozhraní API Responses and Chat Completions 26. októbra, pričom pridala lacnejší model zameraný na pracovné zaťaženie, ktoré zahŕňa používanie počítača. Štandardná sadzba API je 1 USD za milión vstupných tokenov, 0,05 USD za milión vstupných tokenov uložených vo vyrovnávacej pamäti a 5 USD za milión výstupných tokenov.
Terra sa zavádza aj v ChatGPT Work a Codex, ale nie je k dispozícii v štandardnom prostredí ChatGPT. Tento rozdiel je dôležitý pre firmy, ktoré komunikujú prístup k zákazníkom: API záznam, zavedenie produktu na pracovisku a dostupnosť v spotrebiteľskom chatovom rozhraní sú samostatné distribučné kanály.
Spustenie vytvára novú OpenAI možnosť smerovania medzi lacnými modelmi používanými na klasifikáciu alebo extrakciu a nákladnejšími modelmi uvažovania. Operátorom brán to tiež spôsobuje známy prevádzkový problém: hlavná cena je len začiatkom integračnej práce.
Cena spoločnosti Terra závisí od tvaru pracovnej záťaže
Pri zverejnených sadzbách stoja výstupné tokeny päťkrát viac ako bežné vstupné tokeny. Vstup vo vyrovnávacej pamäti má cenu 5 % štandardnej vstupnej sadzby. Aplikácie, ktoré opakovane odosielajú stabilné pokyny, popisy nástrojov alebo iný opakovane použiteľný kontext, preto môžu vidieť podstatne odlišný profil nákladov ako aplikácie, ktoré generujú veľké odozvy alebo neustále menia svoje výzvy.
Týka sa to najmä agentov využívajúcich počítače. Takéto systémy môžu pred dokončením úlohy prejsť viacerými cyklami pozorovania, uvažovania a činnosti. Aj keď je vstupná cena modelu nízka, podrobné výstupy alebo dlhé slučky nástrojov môžu zvýšiť celkový účet. Ohlásená sadzba OpenAI by sa preto mala posudzovať vzhľadom na cenu dokončenia úlohy, nielen podľa ceny prvej žiadosti.
Tímy používajúce unified AI API billing budú potrebovať samostatné účtovanie pre bežný vstup, vstup a výstup vo vyrovnávacej pamäti. Zbalenie týchto kategórií do jedného zmiešaného tokenového čísla by zakrylo poplatky pre zákazníkov aj marže brány. Hodnotenia by mali zaznamenávať tokeny a náklady počas celého chodu agenta vrátane neúspešných krokov a opakovaní.
Brány potrebujú aktualizácie metadát, pravidiel a kompatibility
Pridanie Terra do brány pre viacero modelov API pre tímy vyžaduje viac než len registráciu ID modelu. Katalógové záznamy vyžadujú tri rýchlosti tokenov, podporované povrchy API, metadáta funkcií a regionálne obmedzenia. Smerovacie systémy musia tiež rozlíšiť, či pracovné zaťaženie ťaží z rýchleho ukladania do vyrovnávacej pamäte a či je pravdepodobné, že vytvorí dostatok výstupu alebo iterácií nástroja na vymazanie zdanlivej výhody ceny vstupu.
OpenAI hovorí, že tento model nie je podporovaný v SAE. Brána, ktorá sľubuje regionálnu manipuláciu, nemôže považovať Terra za zameniteľnú náhradu za iný model OpenAI, keď nájomca vyžaduje pobyt v Spojených arabských emirátoch. Obmedzenie by malo byť viditeľné pri zisťovaní modelu, vynútené v pravidlách smerovania a zachované v denníkoch požiadaviek, aby operátori mohli vysvetliť, prečo bola požiadavka zablokovaná alebo odoslaná inam.
Predajcovia čelia ďalšiemu problému s komunikáciou. Platforma AI API predajcu by nemala naznačovať, že zákaznícke predplatné ChatGPT zahŕňa prístup Terra API alebo že dostupnosť API znamená, že model je možné vybrať v štandarde ChatGPT. Katalógy produktov a správy o používaní pre zákazníkov by mali samostatne identifikovať prístupový kanál a efektívny model.
Pre Model Gate a podobné služby kompatibilné s číslom OpenAI zahŕňa praktický kontrolný zoznam vydania pridanie modelu, použitie cien podľa vyrovnávacej pamäte, odhalenie obmedzenia bydliska a testovanie odpovedí a chovaní pri dokončení rozhovoru. Pravidlá marže môžu tiež vyžadovať revíziu, ak sa tokeny uložené vo vyrovnávacej pamäti prenášajú na náklady poskytovateľa, zatiaľ čo bežný vstup a výstup nesú rôzne označenia.
Nároky na výkon si stále vyžadujú nezávislé testovanie
OpenAI oznámil zlepšenie schopností, rýchlosti a halucinácií pre Terra, ale nie všetky tieto tvrdenia boli nezávisle reprodukované. Správne porovnanie sa bude líšiť aj podľa pracovného zaťaženia. Model, ktorý je ekonomický pre krátke štruktúrované odpovede, môže byť menej atraktívny pre agenta, ktorý vydáva rozsiahle úvahy, opakuje akcie alebo vykonáva dlhé relácie používania počítača.
Vývojári by mali porovnávať Terra s reprezentatívnymi výzvami, nástrojmi a limitmi dokončenia namiesto prenosu výsledkov z konvenčných testov chatu. Užitočné merania zahŕňajú mieru dokončenia úlohy, latencia od konca po koniec, frekvenciu prístupov do vyrovnávacej pamäte, výstupný objem, počet cyklov nástroja a celkové náklady na úspešnú úlohu.
Bezprostredný význam spoločnosti Terra teda nespočíva v tom, že je všeobecne lacnejšia. API kupujúcim poskytuje ďalšie cenové pásmo OpenAI a poskytuje smerovacím systémom ďalšiu sadu kompromisov, ktoré môžu modelovať. Či to zníži produkčné náklady, bude závisieť od správania sa ukladania do vyrovnávacej pamäte, dĺžky odozvy, efektivity slučky agentov a regionálnych pravidiel pripojených ku každej žiadosti.