OpenAI vydala GPT-6.1 Terra prostřednictvím rozhraní Responses and Chat Completions API dne 26. října a přidala levnější model zaměřený na pracovní zátěže zahrnující použití počítače. Standardní sazba API je 1 $ za milion vstupních tokenů, 0,05 $ za milion mezipaměti vstupních tokenů a 5 $ za milion výstupních tokenů.

Terra se také zavádí v ChatGPT Work a Codex, ale není k dispozici ve standardním prostředí ChatGPT. Tento rozdíl je důležitý pro firmy, které komunikují přístup k zákazníkům: API zápis, zavádění produktu na pracovišti a dostupnost v rozhraní spotřebitelského chatu jsou samostatné distribuční kanály.

Spuštění vytváří novou OpenAI možnost směrování mezi levnými modely používanými pro klasifikaci nebo extrakci a dražšími modely uvažování. Provozovatelům bran také přináší známý provozní problém: hlavní cena je pouze začátkem integrační práce.

Cena společnosti Terra závisí na tvaru pracovní zátěže

Při zveřejněných sazbách stojí výstupní tokeny pětkrát více než běžné vstupní tokeny. Vstup uložený v mezipaměti je oceněn 5 % standardní vstupní sazby. Aplikace, které opakovaně odesílají stabilní pokyny, popisy nástrojů nebo jiný opakovaně použitelný kontext, by proto mohly vidět podstatně odlišný nákladový profil než aplikace, které generují velké odezvy nebo neustále mění své výzvy.

To se týká zejména agentů využívajících počítače. Takové systémy mohou před dokončením úkolu projít několika cykly pozorování, uvažování a akcí. I když je vstupní cena modelu nízká, podrobné výstupy nebo dlouhé smyčky nástrojů mohou zvýšit celkový účet. Ohlášená sazba OpenAI by proto měla být posuzována podle nákladů na dokončení úkolu, nikoli pouze podle ceny prvního požadavku.

Týmy používající unified AI API billing budou potřebovat samostatné účtování pro běžný vstup, mezipaměťový vstup a výstup. Sbalení těchto kategorií do jednoho smíšeného tokenového čísla by zakrylo jak poplatky pro zákazníky, tak marže brány. Hodnocení by měla zaznamenávat tokeny a náklady za celou dobu provozu agenta, včetně neúspěšných kroků a opakování.

Brány potřebují aktualizace metadat, zásad a kompatibility

Přidání Terra do brány pro více modelů API pro týmy vyžaduje více než jen registraci ID modelu. Katalogové záznamy vyžadují tři rychlosti tokenů, podporované povrchy API, metadata funkcí a regionální omezení. Směrovací systémy také musí rozlišovat, zda pracovní zátěž těží z rychlého ukládání do mezipaměti a zda je pravděpodobné, že bude produkovat dostatek výstupu nebo iterací nástroje, aby se smazala zdánlivá výhoda ceny vstupu.

OpenAI říká, že u tohoto modelu není odvozená rezidentura SAE podporována. Brána, která slibuje regionální manipulaci, nemůže považovat Terra za zaměnitelnou náhradu za jiný model OpenAI, když nájemce vyžaduje bydliště ve Spojených arabských emirátech. Omezení by mělo být viditelné při zjišťování modelu, vynuceno v zásadách směrování a zachováno v protokolech požadavků, aby operátoři mohli vysvětlit, proč byl požadavek zablokován nebo odeslán jinam.

Resellerové čelí dalšímu komunikačnímu problému. Platforma AI API distributora by neměla znamenat, že předplatné zákazníka ChatGPT zahrnuje přístup Terra API nebo že dostupnost API znamená, že model lze vybrat ve standardním ChatGPT. Katalogy produktů a zprávy o používání pro zákazníky by měly samostatně identifikovat přístupový kanál a efektivní model.

Pro Model Gate a podobné služby kompatibilní s OpenAI praktický kontrolní seznam pro vydání zahrnuje přidání modelu, použití cen s vědomím mezipaměti, odhalení omezení pobytu a testování chování odpovědí i dokončování chatu. Pravidla marže mohou také vyžadovat revizi, pokud jsou tokeny uložené v mezipaměti předávány na náklady poskytovatele, zatímco běžný vstup a výstup nesou různé značky.

Nároky na výkon stále vyžadují nezávislé testování

OpenAI oznámil zlepšení schopností, rychlosti a halucinací pro Terra, ale tato tvrzení nebyla všechna nezávisle reprodukována. Správné srovnání se bude také lišit podle pracovní zátěže. Model, který je ekonomický pro krátké strukturované odpovědi, může být méně atraktivní pro agenta, který vydává rozsáhlé úvahy, opakuje akce nebo provádí dlouhé relace při používání počítače.

Vývojáři by měli srovnávat Terra s reprezentativními výzvami, nástroji a limity dokončení, spíše než přenášet výsledky z konvenčních chatových testů. Užitečná měření zahrnují rychlost dokončení úkolu, latenci end-to-end, frekvenci přístupů do mezipaměti, výstupní objem, počet cyklů nástroje a celkové náklady na úspěšný úkol.

Okamžitý význam společnosti Terra tedy nespočívá v tom, že je univerzálně levnější. Poskytuje API kupujícím další cenové pásmo OpenAI a směrovacím systémům poskytuje další řadu kompromisů, které lze modelovat. Zda sníží produkční náklady, bude záviset na chování ukládání do mezipaměti, délce odezvy, účinnosti smyčky agentů a regionálních zásadách připojených ke každému požadavku.