OpenAI udgav GPT-6.1 Terra gennem API'erne Responses and Chat Completions den 26. oktober, og tilføjede en billigere model rettet mod arbejdsbelastninger, der inkluderer computerbrug. Standardprisen API er $1 pr. million inputtokens, $0,05 pr. million cachelagrede inputtokens og $5 pr. million outputtokens.
Terra lanceres også i ChatGPT Work og Codex, men den er ikke tilgængelig i standardoplevelsen ChatGPT. Denne sondring er vigtig for virksomheder, der kommunikerer adgang til kunder: en API-fortegnelse, en produktudrulning på arbejdspladsen og tilgængelighed i forbrugerchatgrænsefladen er separate distributionskanaler.
Lanceringen skaber en ny OpenAI-rutingsmulighed mellem billige modeller, der bruges til klassificering eller ekstraktion, og mere kostbare ræsonnementmodeller. Det giver også gateway-operatører et velkendt driftsproblem: Overskriftsprisen er kun begyndelsen på integrationsarbejdet.
Terras pris afhænger af arbejdsbelastningens form
Med de offentliggjorte priser koster output-tokens fem gange så meget som almindelige input-tokens. Cached input er prissat til 5% af standard input rate. Applikationer, der gentagne gange sender stabile instruktioner, værktøjsbeskrivelser eller anden genbrugelig kontekst, kan derfor se en væsentligt anderledes omkostningsprofil end applikationer, der genererer store svar eller løbende ændrer deres prompter.
Dette er især relevant for computerbrugere. Sådanne systemer kan køre gennem flere observations-, ræsonnement- og handlingscyklusser, før de udfører en opgave. Selv når modellens inputpris er lav, kan detaljerede output eller lange værktøjsløkker øge den samlede regning. OpenAIs annoncerede sats bør derfor evalueres i forhold til den samlede opgaveomkostning, ikke kun prisen på den første anmodning.
Teams, der bruger unified AI API billing, skal have separat regnskab for almindelig input, cachelagret input og output. At kollapse disse kategorier i én blandet token-figur ville sløre både kundegebyrer og gateway-margener. Evalueringer bør registrere tokens og omkostninger på tværs af hele agentkørsel, inklusive mislykkede trin og genforsøg.
Gateways har brug for metadata, politik og kompatibilitetsopdateringer
At tilføje Terra til en multimodel API-gateway for teams kræver mere end at registrere dets model-id. Katalogposter har brug for de tre tokenhastigheder, understøttede API overflader, kapacitetsmetadata og regionale begrænsninger. Routingsystemer skal også skelne mellem, om en arbejdsbelastning har gavn af hurtig cachelagring, og om den sandsynligvis vil producere nok output eller værktøjsgentagelser til at slette den tilsyneladende input-prisfordel.
OpenAI siger, at UAE-inferenceophold ikke understøttes for denne model. En gateway, der lover regional håndtering, kan ikke behandle Terra som en udskiftelig erstatning for en anden OpenAI-model, når en lejer kræver ophold i UAE. Begrænsningen skal være synlig i modelopdagelse, håndhæves i routingpolitikken og bevares i anmodningslogfiler, så operatører kan forklare, hvorfor en anmodning blev blokeret eller sendt andre steder.
Forhandlere står over for et yderligere kommunikationsproblem. En AI API forhandlerplatform bør ikke antyde, at en kundes ChatGPT-abonnement inkluderer Terra API-adgang, eller at API tilgængelighed betyder, at modellen kan vælges i standardChatGPT. Produktkataloger og kundevendte brugsrapporter bør identificere adgangskanalen og den effektive model separat.
For Model Gate og lignende OpenAI-kompatible tjenester inkluderer den praktiske udgivelsestjekliste tilføjelse af modellen, anvendelse af cache-bevidste priser, afsløring af opholdsbegrænsning og test af både svar og chatafslutningsadfærd. Marginregler kan også trænge til revision, hvis cachede tokens sendes igennem til udbyderens pris, mens almindelige input og output har forskellige markeringer.
Performancekrav kræver stadig uafhængig test
OpenAI har rapporteret forbedringer af kapacitet, hastighed og hallucination for Terra, men disse påstande er ikke alle uafhængigt gengivet. Den rigtige sammenligning vil også variere efter arbejdsbyrde. En model, der er økonomisk for korte strukturerede svar, kan være mindre attraktiv for en agent, der udsender omfattende ræsonnementer, forsøger handlinger igen eller udfører lange computerbrugssessioner.
Udviklere bør benchmarke Terra med repræsentative prompter, værktøjer og fuldførelsesgrænser i stedet for at overføre resultater fra konventionelle chattests. Nyttige målinger omfatter opgavefuldførelseshastighed, ende-til-ende-latens, cache-hit-frekvens, outputvolumen, antal værktøjscyklusser og samlede omkostninger pr. succesfuld opgave.
Terras umiddelbare betydning er derfor ikke, at det er universelt billigere. Det giver API købere endnu et OpenAI prisbånd og giver routingsystemer endnu et sæt afvejninger til modellering. Om det reducerer produktionsomkostningerne vil afhænge af cachingadfærd, svarlængde, agentløkkeeffektivitet og de regionale politikker, der er knyttet til hver anmodning.