OpenAI je 26. oktobra izdal GPT-6.1 Terra prek API-jev Responses and Chat Completions in dodal cenejši model, namenjen delovnim obremenitvam, ki vključujejo uporabo računalnika. Standardna stopnja API je 1 USD na milijon vhodnih žetonov, 0,05 USD na milijon predpomnjenih vhodnih žetonov in 5 USD na milijon izhodnih žetonov.
Terra se uvaja tudi v ChatGPT Work in Codex, vendar ni na voljo v standardni ChatGPT izkušnji. To razlikovanje je pomembno za podjetja, ki strankam sporočajo dostop: seznam API, uvedba izdelka na delovnem mestu in razpoložljivost v uporabniškem vmesniku za klepet so ločeni distribucijski kanali.
Začetek ustvarja novo OpenAI možnost usmerjanja med poceni modeli, ki se uporabljajo za klasifikacijo ali ekstrakcijo, in dražjimi modeli sklepanja. Operaterjem prehodov predstavlja tudi znano težavo pri delovanju: naslovna cena je šele začetek integracijskega dela.
Cena Terra je odvisna od oblike delovne obremenitve
Po objavljenih tečajih stanejo izhodni žetoni petkrat več kot navadni vhodni žetoni. Predpomnjeni vnos je ocenjen na 5 % standardne vnosne stopnje. Aplikacije, ki večkrat pošiljajo stabilna navodila, opise orodij ali drug kontekst, ki ga je mogoče ponovno uporabiti, lahko zato vidijo bistveno drugačen stroškovni profil od aplikacij, ki ustvarjajo velike odzive ali nenehno spreminjajo svoje pozive.
To še posebej velja za agente, ki uporabljajo računalnike. Takšni sistemi lahko tečejo skozi več ciklov opazovanja, razmišljanja in ukrepanja, preden dokončajo nalogo. Tudi če je vhodna cena modela nizka, lahko podrobni izhodi ali dolge zanke orodja zvišajo skupni račun. Napovedano stopnjo OpenAI je zato treba ovrednotiti glede na celotne stroške naloge, ne le glede na ceno prve zahteve.
Ekipe, ki uporabljajo poenoteno umetno inteligenco API zaračunavanje, bodo potrebovale ločeno obračunavanje za običajni vnos, predpomnjeni vnos in izhod. Strnitev teh kategorij v eno mešano številko žetona bi prikrila stroške strank in marže prehoda. Vrednotenja morajo zabeležiti žetone in stroške v celotnem izvajanju agenta, vključno z neuspelimi koraki in ponovnimi poskusi.
Prehodi potrebujejo posodobitve metapodatkov, pravilnika in združljivosti
Dodajanje Terre v večmodelni API prehod za ekipe zahteva več kot samo registracijo njenega ID-ja modela. Kataloški zapisi potrebujejo tri stopnje žetonov, podprta API površine, metapodatke o zmogljivostih in regionalne omejitve. Usmerjevalni sistemi morajo tudi razlikovati, ali ima delovna obremenitev koristi od takojšnjega predpomnjenja in ali je verjetno, da bo ustvarila dovolj izhodnih podatkov ali ponovitev orodja, da izbriše navidezno prednost vhodne cene.
OpenAI pravi, da rezidentstvo sklepanja ZAE ni podprto za ta model. Prehod, ki obljublja regionalno upravljanje, ne more obravnavati Terre kot zamenljivega nadomestka za drug model OpenAI, ko najemnik zahteva stalno prebivališče ZAE. Omejitev mora biti vidna pri odkrivanju modela, uveljavljena v pravilniku usmerjanja in shranjena v dnevnikih zahtev, tako da lahko operaterji pojasnijo, zakaj je bila zahteva blokirana ali poslana drugam.
Prodajalni posredniki se soočajo z dodatnimi komunikacijskimi težavami. AI API platforma preprodajalca ne bi smela pomeniti, da strankina ChatGPT naročnina vključuje dostop do Terra API ali da API razpoložljivost pomeni, da je model mogoče izbrati v standardu ChatGPT. Katalogi izdelkov in poročila o uporabi, namenjena strankam, morajo ločeno identificirati dostopni kanal in učinkovit model.
Za Model Gate in podobne storitve, združljive z OpenAI, praktični kontrolni seznam za izdajo vključuje dodajanje modela, uporabo cen, ki upoštevajo predpomnilnik, razkrivanje omejitve stalnega prebivališča in preizkušanje vedenja odzivov in zaključkov klepeta. Pravila o maržah je morda potrebna tudi revizija, če se predpomnjeni žetoni posredujejo na stroške ponudnika, medtem ko običajni vhod in izhod nosita različne oznake.
Trditve o zmogljivosti še vedno potrebujejo neodvisno testiranje
OpenAI je poročal o izboljšavah zmogljivosti, hitrosti in halucinacij za Terro, vendar te trditve niso bile vse neodvisno reproducirane. Prava primerjava se bo razlikovala tudi glede na delovno obremenitev. Model, ki je ekonomičen za kratke strukturirane odgovore, je lahko manj privlačen za agenta, ki oddaja obsežno razmišljanje, ponavlja dejanja ali izvaja dolge seje uporabe računalnika.
Razvijalci bi morali primerjati Terro z reprezentativnimi pozivi, orodji in omejitvami dokončanja, namesto da prenašajo rezultate iz običajnih testov klepeta. Uporabne meritve vključujejo stopnjo dokončanja opravila, zakasnitev od konca do konca, pogostost zadetkov v predpomnilniku, obseg izpisa, število ciklov orodja in skupne stroške na uspešno opravilo.
Terrin neposredni pomen torej ni v tem, da je vsesplošno cenejša. Kupcem daje API še en OpenAI cenovni razpon, usmerjevalnim sistemom pa še en nabor kompromisov za modeliranje. Ali zmanjša proizvodne stroške, bo odvisno od vedenja predpomnjenja, dolžine odziva, učinkovitosti agentske zanke in regionalnih pravilnikov, priloženih vsaki zahtevi.