OpenAI lanserte GPT-6.1 Terra gjennom API-ene for Responses and Chat Completions 26. oktober, og la til en billigere modell rettet mot arbeidsbelastninger som inkluderer datamaskinbruk. Standard API-satsen er $1 per million input-tokens, $0,05 per million bufrede input-tokens og $5 per million output tokens.
Terra lanseres også i ChatGPT Work og Codex, men det er ikke tilgjengelig i standard ChatGPT-opplevelsen. Denne forskjellen er viktig for bedrifter som kommuniserer tilgang til kunder: en API-oppføring, en arbeidsplassproduktutrulling og tilgjengelighet i forbrukerchatgrensesnittet er separate distribusjonskanaler.
Lanseringen skaper et nytt OpenAI-rutingsalternativ mellom rimelige modeller som brukes til klassifisering eller utvinning og mer kostbare resonneringsmodeller. Det gir også gateway-operatører et kjent driftsproblem: Overskriftsprisen er bare begynnelsen på integreringsarbeidet.
Terras pris avhenger av arbeidsbelastningens form
Med de publiserte prisene koster utdata-tokens fem ganger så mye som vanlige input-tokens. Bufret input er priset til 5 % av standard input rate. Apper som gjentatte ganger sender stabile instruksjoner, verktøybeskrivelser eller annen gjenbrukbar kontekst, kan derfor se en vesentlig annen kostnadsprofil enn applikasjoner som genererer store svar eller kontinuerlig endrer forespørsler.
Dette er spesielt relevant for datamaskinbrukere. Slike systemer kan kjøre gjennom flere observasjons-, resonnement- og handlingssykluser før de fullfører en oppgave. Selv når modellens inngangspris er lav, kan detaljerte utdata eller lange verktøyløkker øke den totale regningen. OpenAIs annonserte sats bør derfor vurderes mot fullstendig oppgavekostnad, ikke bare prisen på den første forespørselen.
Team som bruker unified AI API billing vil trenge separat regnskap for ordinær inndata, bufret inndata og utdata. Å kollapse disse kategoriene til én blandet tokenfigur ville skjule både kundegebyrer og gatewaymarginer. Evalueringer bør registrere tokens og kostnader over hele agentkjøringen, inkludert mislykkede trinn og gjenforsøk.
Gatewayer trenger metadata, retningslinjer og kompatibilitetsoppdateringer
Å legge til Terra til en multi-model API-gateway for team krever mer enn å registrere modell-ID-en. Katalogposter trenger de tre tokenhastighetene, støttede API-overflater, kapasitetsmetadata og regionale restriksjoner. Rutingsystemer må også skille mellom om en arbeidsbelastning drar nytte av hurtigbufring og om den sannsynligvis vil produsere nok utdata eller verktøygjentakelser til å slette den tilsynelatende fordelen med input-pris.
OpenAI sier at UAE-inferensopphold ikke støttes for denne modellen. En gateway som lover regional håndtering kan ikke behandle Terra som en utskiftbar erstatning for en annen OpenAI-modell når en leietaker krever opphold i UAE. Begrensningen bør være synlig i modelloppdagelse, håndhevet i rutingpolicy og bevart i forespørselslogger slik at operatører kan forklare hvorfor en forespørsel ble blokkert eller sendt andre steder.
Forhandlere står overfor et ekstra kommunikasjonsproblem. En AI API forhandlerplattform skal ikke innebære at en kundes ChatGPT-abonnement inkluderer Terra API-tilgang, eller at API-tilgjengelighet betyr at modellen kan velges i standardChatGPT. Produktkataloger og kundevendte bruksrapporter bør identifisere tilgangskanalen og den effektive modellen separat.
For Model Gate og lignende OpenAI-kompatible tjenester inkluderer den praktiske utgivelsessjekklisten å legge til modellen, bruke bufferbevisste priser, avsløre bostedsbegrensningen og teste både svar og chatfullføringsadferd. Marginregler kan også trenge revisjon hvis bufrede tokens sendes gjennom til leverandørkostnad mens ordinære input og output har forskjellige markeringer.
Ytelseskrav trenger fortsatt uavhengig testing
OpenAI har rapportert forbedringer av kapasitet, hastighet og hallusinasjon for Terra, men disse påstandene er ikke alle uavhengig gjengitt. Riktig sammenligning vil også variere etter arbeidsmengde. En modell som er økonomisk for korte strukturerte svar kan være mindre attraktiv for en agent som avgir omfattende resonnement, prøver handlinger på nytt eller gjennomfører lange databruksøkter.
Utviklere bør måle Terra med representative forespørsler, verktøy og fullføringsgrenser i stedet for å overføre resultater fra konvensjonelle chat-tester. Nyttige målinger inkluderer fullføringshastighet for oppgave, ende-til-ende-forsinkelse, hurtigbuffertrefffrekvens, utdatavolum, antall verktøysykluser og totalkostnad per vellykket oppgave.
Terras umiddelbare betydning er derfor ikke at det er universelt billigere. Det gir API kjøpere ytterligere OpenAI prisbånd og gir rutingsystemer enda et sett med avveininger å modellere. Hvorvidt det reduserer produksjonskostnadene vil avhenge av bufringsatferd, svarlengde, agentsløyfeeffektivitet og de regionale retningslinjene knyttet til hver forespørsel.