OpenAI heeft op 26 oktober GPT-6.1 Terra uitgebracht via de Responses en Chat Completions API's, waarbij een goedkoper model is toegevoegd dat is gericht op werklasten waarbij computergebruik is inbegrepen. Het standaard API tarief is $1 per miljoen invoertokens, $0,05 per miljoen in de cache opgeslagen invoertokens en $5 per miljoen uitvoertokens.
Terra wordt ook uitgerold in ChatGPT Work en Codex, maar is niet beschikbaar in de standaard ChatGPT-ervaring. Dat onderscheid is van belang voor bedrijven die de toegang tot klanten communiceren: een API vermelding, de uitrol van een product op de werkplek en de beschikbaarheid in de consumentenchatinterface zijn afzonderlijke distributiekanalen.
De lancering creëert een nieuwe OpenAI routeringsoptie tussen goedkope modellen die worden gebruikt voor classificatie of extractie en duurdere redeneermodellen. Het bezorgt gateway-exploitanten ook een bekend operationeel probleem: de prijs is slechts het begin van het integratiewerk.
De prijs van Terra is afhankelijk van de vorm van de werklast
Bij de gepubliceerde tarieven kosten uitvoertokens vijf keer zoveel als gewone invoertokens. Gecachte invoer kost 5% van het standaard invoertarief. Applicaties die herhaaldelijk stabiele instructies, toolbeschrijvingen of andere herbruikbare context verzenden, kunnen daarom een wezenlijk ander kostenprofiel zien dan applicaties die grote reacties genereren of voortdurend hun aanwijzingen wijzigen.
Dit is vooral relevant voor agenten die computers gebruiken. Dergelijke systemen kunnen meerdere observatie-, redeneer- en actiecycli doorlopen voordat ze een taak voltooien. Zelfs als de inputprijs van het model laag is, kunnen uitgebreide outputs of lange toolloops de totale rekening verhogen. Het aangekondigde tarief van OpenAI moet daarom worden beoordeeld op basis van de volledige taakkosten, en niet alleen de prijs van het eerste verzoek.
Teams die unified AI API billing gebruiken, hebben aparte boekhouding nodig voor gewone invoer, in het cachegeheugen opgeslagen invoer en uitvoer. Het samenvoegen van deze categorieën in één gemengd tokencijfer zou zowel de klantkosten als de gateway-marges verdoezelen. Evaluaties moeten tokens en kosten registreren gedurende de volledige agentuitvoering, inclusief mislukte stappen en nieuwe pogingen.
Gateways hebben updates voor metadata, beleid en compatibiliteit nodig
Het toevoegen van Terra aan een multi-model API gateway voor teams vereist meer dan het registreren van de model-ID. Catalogusrecords hebben de drie tokensnelheden, ondersteunde API oppervlakken, metagegevens over mogelijkheden en regionale beperkingen nodig. Routingsystemen moeten ook onderscheid maken of een werklast baat heeft bij prompt caching en of deze waarschijnlijk voldoende uitvoer of tool-iteraties zal produceren om het schijnbare voordeel van de inputprijs teniet te doen.
OpenAI zegt dat de VAE-inferentieresidentie niet wordt ondersteund voor dit model. Een gateway die regionale afhandeling belooft, kan Terra niet behandelen als een uitwisselbaar alternatief voor een ander OpenAI-model wanneer een huurder een ingezetenschap van de VAE vereist. De beperking moet zichtbaar zijn bij modeldetectie, afgedwongen in het routeringsbeleid en bewaard in verzoeklogboeken, zodat operators kunnen uitleggen waarom een verzoek is geblokkeerd of ergens anders naartoe is verzonden.
Resellers hebben te maken met een extra communicatieprobleem. Een AI API resellerplatform mag niet impliceren dat het ChatGPT abonnement van een klant Terra API toegang omvat, of dat API beschikbaarheid betekent dat het model kan worden geselecteerd in standaard ChatGPT. Productcatalogi en klantgerichte gebruiksrapporten moeten het toegangskanaal en het effectieve model afzonderlijk identificeren.
Voor Model Gate en vergelijkbare OpenAI-compatibele services omvat de praktische releasechecklist onder meer het toevoegen van het model, het toepassen van cachebewuste prijzen, het blootleggen van de verblijfsbeperking en het testen van zowel het gedrag van reacties als chatvoltooiingen. Margeregels moeten mogelijk ook worden herzien als in de cache opgeslagen tokens worden doorgegeven tegen kosten van de provider, terwijl gewone invoer en uitvoer verschillende markeringen hebben.
Prestatieclaims moeten nog steeds onafhankelijk worden getest
OpenAI heeft mogelijkheden, snelheid en hallucinatieverbeteringen gerapporteerd voor Terra, maar deze beweringen zijn niet allemaal onafhankelijk gereproduceerd. De juiste vergelijking zal ook variëren per werklast. Een model dat economisch is voor korte gestructureerde reacties, kan minder aantrekkelijk zijn voor een agent die uitgebreid redeneert, acties opnieuw probeert of lange computersessies uitvoert.
Ontwikkelaars moeten Terra benchmarken met representatieve aanwijzingen, tools en voltooiingslimieten in plaats van resultaten van conventionele chattests over te dragen. Nuttige metingen zijn onder meer het voltooiingspercentage van taken, end-to-end latentie, frequentie van cachehits, uitvoervolume, aantal toolcycli en totale kosten per succesvolle taak.
De onmiddellijke betekenis van Terra is daarom niet dat het universeel goedkoper is. Het geeft API kopers nog een OpenAI prijsklasse en geeft routeringssystemen een nieuwe reeks afwegingen om te modelleren. Of dit de productiekosten verlaagt, hangt af van het cachinggedrag, de reactieduur, de efficiëntie van de agentloop en het regionale beleid dat aan elk verzoek is gekoppeld.