OpenAI je dodao novu API površinu za aplikacije kojima su potrebne brze, strukturirane prosudbe, a ne otvorena generacija. Tvrtkin API zapisnik promjena navodi izdanje od 6. listopada za v1/decisions, javnu beta krajnju točku koja trenutno radi na GPT-6 Luni.
Praktična razlika je važna. OpenAI opisuje Odluke API kao način pretvaranja teksta i slika u tipkane odgovore i kaže da to može biti do 10 puta brže od korištenja Odgovora API za istu vrstu rada u stilu klasifikacije. Vercel je sljedeći dan dodao podršku za novu krajnju točku na svoj AI Gateway, koristeći identifikator modela openai/gpt-6-luna-decisions.
To čini lansiranje više od ažuriranja kataloga modela. Uvodi obrazac zahtjeva i odgovora koji stoji uz chat, generiranje, ugradnje i pokretanje alata. Za timove koji koriste višemodelni API pristupnik za timove, pitanje više nije samo koji model pozvati. To je također koji API oblik najbolje odgovara zadatku.
Što se promijenilo
Odluke API usmjerene su na radna opterećenja gdje aplikacija treba ograničeni rezultat: oznaku, kategoriju, odluku o usmjeravanju, ishod pravila ili drugi upisani odgovor. Umjesto traženja modela opće namjene da proizvede prozu i zatim analizira rezultat, programeri mogu koristiti krajnju točku dizajniranu oko strukturiranog izlaza odluka.
OpenAI kaže GPT-6 Luna je trenutno jedini dostupan model za beta verziju. To je ograničenje važno jer znači da programeri još ne biraju između široke obitelji modela odlučivanja. Oni testiraju novu OpenAI krajnju točku i specifično vezanje modela u isto vrijeme.
Vrijeme također pokazuje koliko brzo se očekuje da će davatelji pristupnika apsorbirati nove API površine. Vercelova podrška od 7. listopada znači da programeri koji koriste njegov pristupnik mogu pozvati Odluke API bez izravne integracije s krajnjom točkom OpenAI. Ostale OpenAIkompatibilne platforme suočit će se s istim pitanjem proizvoda: znači li kompatibilnost proxy samo poznati API-ji u stilu chata ili također izlaganje specijaliziranih površina kao što su odluke, agenti, pretraživanje i izvršavanje alata.
Zašto je važno za pristupnike
Većina arhitekture pristupnika umjetne inteligencije započela je s relativno jednostavnom pretpostavkom: normalizirati razlike u pružateljima tako da programeri mogu zamijeniti modele iza jednog API. Odluke API protive se toj pretpostavci. Iza istog zahtjeva za chat nije samo drugačiji model. To je specijalizirana krajnja točka s drugačijim obećanjem: ispis s niskom latencijom.
To utječe na usmjeravanje, vidljivost i naplatu. Klasifikacijski poziv koji vraća mali tipizirani objekt ne bi trebao nužno biti analiziran pored zahtjeva za generiranje dugog oblika, čak i ako oba koriste GPT-6-family model. Ciljevi kašnjenja, kriteriji uspjeha i dodjela troškova mogu biti različiti. Odluka o provjeri prijevare, oznaka moderiranja slike i ishod usmjeravanja prodajnog potencijalnog klijenta mogu imati više zajedničkog jedni s drugima nego s okretom pomoćnika u razgovoru.
Za AI API kontrolnu razinu za razvojne timove, to znači da katalog treba jasniju razliku između identiteta modela i mogućnosti krajnje točke. Redak koji kaže "GPT-6 Luna" nije dovoljan ako je jedna verzija izložena kroz opći tijek odgovora, a druga kroz krajnju točku upisanih odluka. Kontrole pristupa možda također moraju biti svjesne krajnjih točaka, jer tim možda želi dopustiti radna opterećenja klasifikacije s niskim rizikom uz ograničavanje šire generacije.
Model Gate i slični OpenAI-kompatibilni pristupnici imaju izravnu implikaciju proizvoda ovdje: kompatibilnost sada mora pokriti semantiku tijeka rada, a ne samo zahtijevati autentifikaciju i nazive modela. Ako korisnici očekuju jedan ključ API, jednu knjigu korištenja i jedan skup timskih pravila, pozivi za odlučivanje trebaju biti vidljivi kao njihova vlastita klasa radnog opterećenja, a ne skriveni unutar generičke GPT upotrebe.
Naplata i analitika postaju detaljniji
Pokretanje također povećava pritisak na sustave naplate koji se već bore da različita radna opterećenja umjetne inteligencije učine usporedivim. Korištenje tokena ostaje važno, ali krajnja točka odlučivanja često se kupuje zbog propusnosti, latencije i pouzdanosti. Ako se krajnja točka reklamira kao puno brža od odgovora API za istu klasu zadatka, korisnici će željeti analitiku koja pokazuje dobivaju li stvarno tu operativnu korist.
To stvara potrebu za zasebnim dimenzijama izvješćivanja: krajnja točka, shema odlučivanja, model, latencija, stopa pogreške i trošak. U platformi izgrađenoj oko unified AI API billing, ta polja pomažu objasniti zašto se dva poziva prema istoj osnovnoj obitelji modela mogu pojaviti pod različitim kategorijama proizvoda ili cjenovnim rasponima.
Platforme prodavača i partnera suočavaju se s povezanim problemom. Ako izlože Odluke API svojim klijentima, možda će im trebati zasebna dokumentacija, pravila margine i izvozi upotrebe za radna opterećenja odluka. Tretiranje svakog Luna poziva kao običnog generiranja teksta moglo bi zamagliti margine i otežati obranu korisničkih faktura.
Ono što ostaje neizvjesno
Oznaka beta ostavlja nekoliko otvorenih pitanja. OpenAI još nije pretvorio Odluke API u široku površinu s više modela, a GPT-6 Luna je za sada jedini naveden model. Također nije jasno koliko će se brzo SDK-ovi, OpenAI-kompatibilni pristupnici i alati za promatranje spojiti na uobičajene konvencije imenovanja i praćenja za pozive odlučivanja.
Postoji i pitanje o dizajnu proizvoda za programere. Neke će aplikacije odmah imati koristi od namjenske tipizirane krajnje točke, osobito tamo gdje je brza analiza bila krhka ili spora. Drugi bi radije zadržali klasifikaciju unutar šireg tijeka rada Responses ako ovise o razmišljanju u više koraka, pozivima alata ili zajedničkom kontekstu.
Najsigurnije čitanje je da OpenAI stvara još jednu specijaliziranu API kategoriju. Šire tržište pristupnika kreće se u istom smjeru: pretraživanje, agenti, hostirani alati, audio i sada tipkane odluke postaju površine koje se zasebno mjere. Za programere to može značiti bolju prilagodbu i manju latenciju. Za platformske timove to znači da sloj pristupnika mora razumjeti više od osnovnog URL-a i niza modela.