OpenAI пусна GPT-6.1 Terra чрез APIs Responses and Chat Completions на 26 октомври, като добави модел с по-ниска цена, насочен към работни натоварвания, които включват използване на компютър. Стандартната API ставка е $1 за милион входни токени, $0,05 за милион кеширани входни токени и $5 за милион изходни токени.
Terra също се разпространява в ChatGPT Work и Codex, но не е налична в стандартното ChatGPT изживяване. Това разграничение има значение за фирмите, които комуникират достъп до клиентите: API списък, внедряването на продукт на работното място и наличността в потребителския чат интерфейс са отделни канали за разпространение.
Стартирането създава нова OpenAI опция за маршрутизиране между евтини модели, използвани за класифициране или извличане, и по-скъпи модели за разсъждение. Освен това създава познат оперативен проблем на операторите на шлюза: основната цена е само началото на работата по интегрирането.
Цената на Terra зависи от формата на работното натоварване
При публикуваните цени изходните токени струват пет пъти повече от обикновените входни токени. Цената на кешираното въвеждане е 5% от стандартната скорост на въвеждане. Следователно приложенията, които многократно изпращат стабилни инструкции, описания на инструменти или друг контекст за многократна употреба, биха могли да видят съществено различен разходен профил от приложения, които генерират големи отговори или непрекъснато променят своите подкани.
Това важи особено за агентите, използващи компютър. Такива системи могат да преминат през множество цикли на наблюдение, разсъждение и действие, преди да изпълнят дадена задача. Дори когато входната цена на модела е ниска, многословните изходи или дългите цикли на инструмента могат да увеличат общата сметка. Поради това обявената цена на OpenAI трябва да се оценява спрямо цялата цена на задачата, а не само цената на първата заявка.
Екипите, използващи унифициран AI API таксуване ще имат нужда от отделно отчитане за обикновен вход, кеширан вход и изход. Свиването на тези категории в една смесена цифра на токена би скрило както клиентските такси, така и маржовете на шлюза. Оценките трябва да записват токени и разходи за цялото изпълнение на агента, включително неуспешни стъпки и повторни опити.
Шлюзовете се нуждаят от метаданни, правила и актуализации за съвместимост
Добавянето на Terra към мултимоделен API шлюз за екипи изисква повече от регистриране на нейния ID на модела. Каталожните записи се нуждаят от трите токени на токена, поддържани API повърхности, метаданни за възможностите и регионални ограничения. Системите за маршрутизиране също трябва да разграничат дали дадено работно натоварване има полза от бързото кеширане и дали е вероятно да произведе достатъчно изход или итерации на инструмента, за да изтрие очевидното предимство на входната цена.
OpenAI казва, че пребиваването в ОАЕ не се поддържа за този модел. Шлюз, който обещава регионално обслужване, не може да третира Terra като взаимозаменяем заместител на друг OpenAI модел, когато наемателят изисква пребиваване в ОАЕ. Ограничението трябва да бъде видимо в откриването на модела, наложено в правилата за маршрутизиране и запазено в регистрационните файлове на заявките, така че операторите да могат да обяснят защо дадена заявка е била блокирана или изпратена другаде.
Дистрибуторите се сблъскват с допълнителен проблем с комуникацията. AI API платформа за дистрибутори не трябва да означава, че клиентският ChatGPT абонамент включва Terra API достъп или че API наличността означава, че моделът може да бъде избран в стандарт ChatGPT. Каталозите с продукти и отчетите за употреба, насочени към клиента, трябва да идентифицират отделно канала за достъп и ефективния модел.
За Model Gate и подобни OpenAI-съвместими услуги, практическият контролен списък за издаване включва добавяне на модела, прилагане на цени, съобразени с кеша, излагане на ограничението за пребиваване и тестване както на поведението на отговорите, така и на завършванията на чат. Правилата за марж може също да се нуждаят от преразглеждане, ако кешираните токени се предават на цена на доставчика, докато обикновеният вход и изход носят различни маркировки.
Твърденията за производителност все още се нуждаят от независимо тестване
OpenAI съобщава за подобрения в способностите, скоростта и халюцинациите за Terra, но не всички тези твърдения са били независимо възпроизведени. Правилното сравнение също ще варира според натоварването. Модел, който е икономичен за кратки структурирани отговори, може да бъде по-малко привлекателен за агент, който излъчва обширни разсъждения, повтаря действия или извършва дълги сесии за използване на компютър.
Разработчиците трябва да сравняват Terra с представителни подкани, инструменти и ограничения за завършване, вместо да прехвърлят резултати от конвенционални тестове за чат. Полезните измервания включват процент на завършени задачи, латентност от край до край, честота на попадения в кеша, изходен обем, брой цикли на инструмента и обща цена за успешна задача.
Следователно непосредственото значение на Terra не е, че тя е универсално по-евтина. Той дава на API купувачите друг OpenAI ценови диапазон и дава на системите за маршрутизиране друг набор от компромиси за моделиране. Дали намалява производствените разходи ще зависи от поведението на кеширане, дължината на отговора, ефективността на цикъла на агента и регионалните политики, приложени към всяка заявка.