OpenAI je 26. listopada izdao GPT-6.1 Terra putem Responses and Chat Completions API-ja, dodajući jeftiniji model usmjeren na radna opterećenja koja uključuju korištenje računala. Standardna stopa API je 1 USD za milijun ulaznih tokena, 0,05 USD za milijun predmemoriranih ulaznih tokena i 5 USD za milijun izlaznih tokena.
Terra također dolazi u ChatGPT Work i Codex, ali nije dostupna u standardnom ChatGPT iskustvu. Ta je razlika važna za tvrtke koje komuniciraju pristup klijentima: API unos, uvođenje proizvoda na radnom mjestu i dostupnost u korisničkom sučelju za chat odvojeni su distribucijski kanali.
Pokretanje stvara novu OpenAI opciju usmjeravanja između jeftinih modela koji se koriste za klasifikaciju ili ekstrakciju i skupljih modela razmišljanja. Operaterima pristupnika također daje poznati operativni problem: glavna cijena samo je početak rada na integraciji.
Terrina cijena ovisi o obliku opterećenja
Prema objavljenim cijenama, izlazni tokeni koštaju pet puta više od običnih ulaznih tokena. Predmemorirani unos ima cijenu od 5% standardne stope unosa. Aplikacije koje opetovano šalju stabilne upute, opise alata ili drugi kontekst za višekratnu upotrebu stoga bi mogle vidjeti materijalno drugačiji profil troškova od aplikacija koje generiraju velike odgovore ili kontinuirano mijenjaju svoje upite.
Ovo se posebno odnosi na agente koji koriste računalo. Takvi sustavi mogu proći kroz višestruke cikluse promatranja, razmišljanja i djelovanja prije dovršetka zadatka. Čak i kada je ulazna cijena modela niska, detaljni izlazi ili duge petlje alata mogu povećati ukupni račun. Najavljenu stopu OpenAI stoga treba procijeniti u odnosu na cjelokupni trošak zadatka, a ne samo na cijenu prvog zahtjeva.
Timovi koji koriste objedinjenu AI API naplatu trebat će odvojeno računovodstvo za uobičajeni unos, predmemorirani ulaz i izlaz. Sažimanje tih kategorija u jednu pomiješanu figuru tokena zamaglilo bi i korisničke naknade i marže pristupnika. Procjene bi trebale zabilježiti tokene i troškove tijekom cijelog rada agenta, uključujući neuspjele korake i ponovne pokušaje.
Gateways trebaju ažuriranja metapodataka, pravila i kompatibilnosti
Dodavanje Terre višemodelnom API pristupniku za timove zahtijeva više od registracije ID-a modela. Kataloški zapisi trebaju tri stope tokena, podržane površine API, metapodatke o mogućnostima i regionalna ograničenja. Sustavi usmjeravanja također moraju razlikovati ima li radno opterećenje koristi od brzog predmemoriranja i je li vjerojatno da će proizvesti dovoljno izlaza ili iteracija alata za brisanje očite prednosti ulazne cijene.
OpenAI kaže da ovaj model ne podržava rezidentnost UAE. Gateway koji obećava regionalno rukovanje ne može tretirati Terru kao zamjenjivu zamjenu za drugi OpenAI model kada stanar zahtijeva prebivalište UAE. Ograničenje bi trebalo biti vidljivo u otkrivanju modela, nametnuto u politici usmjeravanja i sačuvano u zapisnicima zahtjeva kako bi operateri mogli objasniti zašto je zahtjev blokiran ili poslan negdje drugdje.
Prodavači se suočavaju s dodatnim problemom komunikacije. AI API platforma prodavača ne bi trebala implicirati da korisnikova ChatGPT pretplata uključuje Terra API pristup ili da API dostupnost znači da se model može odabrati u standardu ChatGPT. Katalozi proizvoda i izvješća o korištenju koja se odnose na kupce trebaju zasebno identificirati pristupni kanal i efektivni model.
Za Model Gate i slične OpenAI-kompatibilne usluge, praktični kontrolni popis za izdavanje uključuje dodavanje modela, primjenu cijena s obzirom na predmemoriju, izlaganje ograničenja prebivališta i testiranje ponašanja odgovora i završetka razgovora. Pravila margine također mogu trebati revidirati ako se predmemorirani tokeni prosljeđuju na trošak pružatelja dok obični ulaz i izlaz nose različite oznake.
Tvrdnje o izvedbi još uvijek trebaju neovisno testiranje
OpenAI je izvijestio o poboljšanjima sposobnosti, brzine i halucinacija za Terru, ali te tvrdnje nisu sve neovisno reproducirane. Prava usporedba također će se razlikovati ovisno o radnom opterećenju. Model koji je ekonomičan za kratke strukturirane odgovore može biti manje privlačan za agenta koji emitira opširno razmišljanje, ponavlja radnje ili provodi duge sesije korištenja računala.
Razvojni programeri trebali bi usporediti Terru s reprezentativnim uputama, alatima i ograničenjima dovršetka umjesto prijenosa rezultata iz uobičajenih testova chata. Korisna mjerenja uključuju stopu dovršetka zadatka, latenciju s kraja na kraj, učestalost pogodaka predmemorije, izlaznu količinu, broj ciklusa alata i ukupnu cijenu po uspješnom zadatku.
Terrin neposredni značaj stoga nije u tome što je univerzalno jeftiniji. Daje API kupcima još OpenAI cjenovni raspon i daje sustavima usmjeravanja još jedan skup kompromisa za modeliranje. Hoće li smanjiti troškove proizvodnje ovisit će o ponašanju predmemoriranja, duljini odgovora, učinkovitosti agentske petlje i regionalnim pravilima priloženim svakom zahtjevu.