OpenAI va llançar GPT-6.1 Terra a través de les API de respostes i finalitzacions de xat el 26 d'octubre, afegint un model de preu més baix destinat a càrregues de treball que inclouen l'ús de l'ordinador. La tarifa estàndard API és d'1 $ per milió de fitxes d'entrada, 0,05 $ per milió de fitxes d'entrada a la memòria cau i 5 $ per milió de fitxes de sortida.
Terra també s'està implementant a ChatGPT Work i Codex, però no està disponible a l'experiència estàndard ChatGPT. Aquesta distinció és important per a les empreses que comuniquen l'accés als clients: una llista API, el llançament d'un producte al lloc de treball i la disponibilitat a la interfície de xat del consumidor són canals de distribució separats.
El llançament crea una nova opció d'encaminament OpenAI entre models barats utilitzats per a la classificació o extracció i models de raonament més costosos. També ofereix als operadors de passarel·les un problema operatiu conegut: el preu del títol és només el començament del treball d'integració.
El preu de Terra depèn de la forma de la càrrega de treball
A les tarifes publicades, els testimonis de sortida costen cinc vegades més que els testimonis d'entrada normals. L'entrada en memòria cau té un preu del 5% de la taxa d'entrada estàndard. Per tant, les aplicacions que envien instruccions estables, descripcions d'eines o un altre context reutilitzable de manera reiterada podrien veure un perfil de costos materialment diferent de les aplicacions que generen respostes grans o que canvien contínuament les seves sol·licituds.
Això és especialment rellevant per als agents d'ús d'ordinadors. Aquests sistemes poden passar per múltiples cicles d'observació, raonament i acció abans de completar una tasca. Fins i tot quan el preu d'entrada del model és baix, les sortides detallades o els bucles d'eines llargs poden augmentar la factura total. Per tant, la tarifa anunciada de OpenAI s'ha d'avaluar en funció del cost de la tasca completa, no només del preu de la primera sol·licitud.
Els equips que utilitzen la facturació d'IA unificada API necessitaran una comptabilitat independent per a l'entrada normal, l'entrada i la sortida a la memòria cau. Col·lapsar aquestes categories en una figura de testimoni combinat enfosquiria tant els càrrecs dels clients com els marges de la passarel·la. Les avaluacions haurien d'enregistrar els testimonis i el cost durant l'execució completa de l'agent, inclosos els passos i els intents fallits.
Les passarel·les necessiten actualitzacions de metadades, polítiques i compatibilitat
Afegir Terra a una passarel·la multimodel API per a equips requereix més que registrar el seu ID de model. Els registres de catàleg necessiten les tres tarifes de testimoni, les superfícies API compatibles, les metadades de capacitat i les restriccions regionals. Els sistemes d'encaminament també han de distingir si una càrrega de treball es beneficia de la memòria cau ràpida i si és probable que produeixi prou resultats o iteracions d'eines per esborrar l'aparent avantatge del preu d'entrada.
OpenAI diu que la residència d'inferència dels Emirats Àrabs Units no és compatible amb aquest model. Una passarel·la que promet una gestió regional no pot tractar Terra com un substitut intercanviable d'un altre model OpenAI quan un llogater requereix la residència dels Emirats Àrabs Units. La restricció ha de ser visible a la descoberta de models, s'ha d'aplicar a la política d'encaminament i conservada als registres de sol·licituds perquè els operadors puguin explicar per què s'ha bloquejat una sol·licitud o s'ha enviat a un altre lloc.
Els distribuïdors s'enfronten a un problema de comunicació addicional. Una plataforma de distribuïdor AI API no hauria d'implicar que la subscripció ChatGPT d'un client inclogui l'accés a Terra API, o que la disponibilitat API significa que el model es pot seleccionar a la norma ChatGPT. Els catàlegs de productes i els informes d'ús orientats al client haurien d'identificar el canal d'accés i el model efectiu per separat.
Per a serveis Model Gate i similars compatibles amb OpenAI, la llista de comprovació pràctica inclou afegir el model, aplicar preus de memòria cau, exposar la limitació de residència i provar el comportament de les respostes i de les finalitzacions de xat. Les regles de marge també poden necessitar una revisió si els testimonis emmagatzemats a la memòria cau es transmeten al preu del proveïdor, mentre que l'entrada i la sortida normals porten marques diferents.
Les afirmacions de rendiment encara necessiten proves independents
OpenAI ha informat de millores de capacitat, velocitat i al·lucinacions per a Terra, però aquestes afirmacions no s'han reproduït de manera independent. La comparació correcta també variarà segons la càrrega de treball. Un model econòmic per a respostes estructurades curtes pot ser menys atractiu per a un agent que emet un raonament extens, torna a provar accions o realitza sessions llargues d'ús de l'ordinador.
Els desenvolupadors haurien de comparar Terra amb indicacions, eines i límits de finalització representatius en lloc de transferir els resultats de les proves de xat convencionals. Les mesures útils inclouen la taxa de finalització de tasques, la latència d'extrem a extrem, la freqüència d'accés a la memòria cau, el volum de sortida, el nombre de cicles d'eines i el cost total per tasca reeixida.
Per tant, la importància immediata de Terra no és que sigui universalment més barata. Ofereix als API compradors una altra franja de preus OpenAI i ofereix als sistemes d'encaminament un altre conjunt de compensacions per modelar. Que redueixi els costos de producció dependrà del comportament de la memòria cau, de la durada de la resposta, de l'eficiència del bucle d'agent i de les polítiques regionals adjuntes a cada sol·licitud.