OpenAI wypuściło GPT-6.1 Terra za pośrednictwem interfejsów API Responses i Chat Completions 26 października, dodając tańszy model przeznaczony do obciążeń obejmujących korzystanie z komputera. Standardowa stawka API wynosi 1 USD za milion tokenów wejściowych, 0,05 USD za milion tokenów wejściowych w pamięci podręcznej i 5 USD za milion tokenów wyjściowych.

Terra jest także wdrażana w ChatGPT Work i Codex, ale nie jest dostępna w standardowym środowisku ChatGPT. To rozróżnienie ma znaczenie dla firm komunikujących dostęp do klientów: pozycja API, wprowadzenie produktu w miejscu pracy i dostępność w interfejsie czatu konsumenckiego to oddzielne kanały dystrybucji.

Wprowadzenie tworzy nową OpenAI opcję routingu pomiędzy niedrogimi modelami używanymi do klasyfikacji lub ekstrakcji a droższymi modelami wnioskowania. Stawia to także operatorom bramek znany problem operacyjny: podstawowa cena to dopiero początek prac integracyjnych.

Cena Terra zależy od rodzaju obciążenia

Przy opublikowanych stawkach tokeny wyjściowe kosztują pięć razy więcej niż zwykłe tokeny wejściowe. Dane wejściowe buforowane są wycenione na poziomie 5% standardowej szybkości wprowadzania. Aplikacje, które wielokrotnie wysyłają stabilne instrukcje, opisy narzędzi lub inny kontekst nadający się do ponownego wykorzystania, mogą zatem odnotować znacząco inny profil kosztów niż aplikacje, które generują dużą liczbę odpowiedzi lub stale zmieniają monity.

Jest to szczególnie istotne w przypadku agentów korzystających z komputera. Takie systemy mogą przed wykonaniem zadania przejść wiele cykli obserwacji, rozumowania i działania. Nawet jeśli cena wejściowa modelu jest niska, szczegółowe wyniki lub długie pętle narzędzi mogą podnieść całkowity rachunek. Dlatego ogłoszoną stawkę OpenAI należy oceniać pod kątem całkowitego kosztu zadania, a nie tylko ceny pierwszego żądania.

Zespoły korzystające z ujednoliconej sztucznej inteligencji API rozliczeń będą potrzebować oddzielnego rozliczania zwykłych danych wejściowych, danych wejściowych i wyjściowych przechowywanych w pamięci podręcznej. Zwinięcie tych kategorii w jedną mieszaną liczbę tokenów przesłoniłoby zarówno opłaty pobierane od klientów, jak i marże bramki. W ocenach należy rejestrować tokeny i koszty całego działania agenta, w tym nieudane kroki i ponowne próby.

Bramy wymagają aktualizacji metadanych, zasad i zgodności

Dodanie Terra do wielomodelowej API bramy dla zespołów wymaga czegoś więcej niż tylko zarejestrowania identyfikatora modelu. Rekordy katalogu wymagają trzech stawek tokenów, obsługiwanych powierzchni API, metadanych możliwości i ograniczeń regionalnych. Systemy routingu muszą także rozróżniać, czy obciążenie pracą korzysta z szybkiego buforowania i czy prawdopodobnie wygeneruje wystarczającą liczbę iteracji wyjściowych lub narzędzi, aby zlikwidować widoczną przewagę w zakresie ceny wejściowej.

OpenAI mówi, że ten model nie obsługuje wnioskowania w Zjednoczonych Emiratach Arabskich. Brama zapewniająca obsługę regionalną nie może traktować Terra jako wymiennego substytutu innego modelu OpenAI, gdy najemca wymaga miejsca zamieszkania w Zjednoczonych Emiratach Arabskich. Ograniczenie powinno być widoczne podczas wykrywania modelu, egzekwowane w zasadach routingu i zachowywane w dziennikach żądań, aby operatorzy mogli wyjaśnić, dlaczego żądanie zostało zablokowane lub wysłane gdzie indziej.

Sprzedawcy borykają się z dodatkowym problemem komunikacyjnym. Platforma resellerska AI API nie powinna sugerować, że subskrypcja ChatGPT klienta obejmuje dostęp do Terra API lub że dostępność API oznacza, że ​​model można wybrać w standardzie ChatGPT. Katalogi produktów i raporty użytkowania skierowane do klientów powinny oddzielnie identyfikować kanał dostępu i efektywny model.

W przypadku usług zgodnych z Model Gate i podobnymi OpenAI praktyczna lista kontrolna wersji obejmuje dodanie modelu, zastosowanie cen uwzględniających pamięć podręczną, ujawnienie ograniczeń dotyczących miejsca zamieszkania oraz przetestowanie zachowania w zakresie odpowiedzi i zakończenia czatu. Reguły dotyczące depozytu zabezpieczającego mogą również wymagać zmiany, jeśli tokeny w pamięci podręcznej są przesyłane na koszt dostawcy, podczas gdy zwykłe dane wejściowe i wyjściowe mają różne znaczniki.

Oświadczenia dotyczące wydajności nadal wymagają niezależnych testów

OpenAI zgłosił poprawę możliwości, szybkości i halucynacji Terry, ale nie wszystkie te twierdzenia zostały niezależnie powtórzone. Właściwe porównanie będzie się również różnić w zależności od obciążenia pracą. Model, który jest ekonomiczny w przypadku krótkich odpowiedzi o określonej strukturze, może być mniej atrakcyjny dla agenta, który formułuje obszerne uzasadnienia, ponawia próby wykonania działań lub przeprowadza długie sesje przy użyciu komputera.

Programiści powinni porównać Terra z reprezentatywnymi podpowiedziami, narzędziami i limitami ukończenia, zamiast przesyłać wyniki z konwencjonalnych testów na czacie. Przydatne pomiary obejmują współczynnik ukończenia zadania, opóźnienie od początku do końca, częstotliwość trafień do pamięci podręcznej, objętość wyjściową, liczbę cykli narzędzia i całkowity koszt udanego zadania.

Bezpośrednie znaczenie Terra nie polega zatem na tym, że jest ona uniwersalnie tańsza. Daje API nabywcom kolejny OpenAI przedział cenowy i daje systemom routingowym kolejny zestaw kompromisów do modelowania. To, czy obniży to koszty produkcji, będzie zależeć od zachowania pamięci podręcznej, długości odpowiedzi, wydajności pętli agenta i zasad regionalnych dołączonych do każdego żądania.