Google je uveo Gemini Odluke API, novu krajnju točku za aplikacije koje trebaju ograničene odgovore umjesto generirane proze. Objavljen 11. studenog, API može procijeniti čak 1000 pitanja s da ili ne, višestrukim izborom ili bodovanjem po rubrikama u jednom zahtjevu.

Krajnja točka prihvaća unos teksta, slika, zvuka, videa i PDF-a unutar ograničenja unosa od 256.000 tokena. Umjesto vraćanja eseja ili odgovora na chatu, proizvodi vjerojatnosti i rezultate pouzdanosti koje softver može koristiti za klasifikaciju, rangiranje, provjere pravila i usmjeravanje. Google kaže da se zahtjevi mogu završiti s end-to-end latencijom od 150 do 250 milisekundi, iako ta brojka izvedbe još nije neovisno utvrđena za produkcijska radna opterećenja.

Zasebna API površina za odluke

Izdanje je značajnije od dodavanja još jednog Gemini modela u katalog dobavljača. Većina OpenAI-kompatibilnih integracija pretpostavlja generativni zahtjev: klijent šalje poruke ili ulazne stavke, model vraća tekst ili strukturirani izlaz, a pružatelj naplaćuje neku kombinaciju ulaznih i izlaznih tokena.

Gemini Odluke koriste drugačiji ugovor. Aplikacija daje izvorni materijal i ograničen skup pitanja, a zatim prima numeričke dokaze za svaki mogući odgovor. Taj je dizajn prikladan za zadatke poput odlučivanja treba li sadržaj ući u red čekanja za pregled, odabira modela za zahtjev, ocjenjivanja dohvaćenog konteksta ili primjene dokumentirane rubrike bodovanja.

Razvojni programeri mogu približiti ove tijekove rada uobičajenim generiranjem teksta, ali generirani odgovori zahtijevaju raščlanjivanje i mogu uvesti tekst koji aplikaciji nije potreban. Namjenski izrađena krajnja točka odlučivanja pruža eksplicitnije sučelje: smisleni izlaz je odabrana opcija i s njom povezana vjerojatnost ili pouzdanost, a ne odlomak proze.

Cijene mijenjaju model mjerenja

Google navodi cijenu od 0,10 USD za milijun ulaznih tokena i ne naplaćuje izlazne tokene. To je značajno odstupanje od input-output računovodstva koje koriste konvencionalni modeli proizvodnje. To također znači da zahtjev može vratiti komercijalno važne podatke iako je njegov naplativi izlazni broj tokena nula.

Operatori pristupnika stoga se ne mogu osloniti samo na ukupne tokene. Zapisi o korištenju moraju sačuvati vrstu radnog opterećenja, ulazni volumen, broj pitanja i relevantne metapodatke odgovora. Sustavi koji nude objedinjenu AI API naplatu također mogu trebati zasebno pravilo cjenika kako se nulta vrijednost izlaznog tokena ne bi zamijenila za nedostajući ili nepotpuni zapis o korištenju.

Grupiranje stvara još jedno operativno pitanje. Podrška za do 1000 pitanja u jednom zahtjevu može smanjiti troškove mreže, ali će tvrtke ipak morati odlučiti kako će se taj posao interno pripisati. Jedan API poziv može predstavljati stotine moderacijskih provjera, odluka o usmjeravanju ili rezultata dokumenata izvedenih za različite proizvode ili kupce.

Kompatibilnost nadilazi promjenu naziva modela

Model je dostupan putem Gemini API u Google AI Studiju. Za timove koji izravno zovu Google, usvajanje će zahtijevati klijenta koji razumije njegove strukture zahtjeva i odgovora usmjerene na donošenje odluka. Za višemodelni API pristupnik za timove, izlaganje krajnje točke kao da se radi o običnom modelu chata sakrilo bi važno ponašanje i moglo učiniti rukovanje pogreškama, analitiku i naplatu dvosmislenim.

Čistiji dizajn pristupnika identificirao bi odluke kao zasebnu klasu radnog opterećenja. Politika usmjeravanja tada bi mogla poslati ograničenu klasifikaciju i rad na bodovanje novoj krajnjoj točki, a istovremeno rezervirati generativne modele za zahtjeve koji stvarno zahtijevaju jezični izlaz. Kontrole pristupa također bi trebale potvrditi broj pitanja, podržane medije i veličinu unosa prije prosljeđivanja zahtjeva.

Podaci o povjerenju zaslužuju pažljiv tretman. Rezultat je koristan za pragove i pravila eskalacije, ali nije dokaz da je odluka ispravna ili kalibrirana za svaku domenu. Timovi koji koriste API za posljedične tijekove rada pravila ili usklađenosti trebat će vlastite evaluacije, testove praga i staze ljudskog pregleda umjesto usvajanja jednog univerzalnog ograničenja.

Ono što ostaje nedokazano

Najava

Google utvrđuje API oblik, objavljenu cijenu i tvrdnju o kašnjenju, ali neovisni dokazi o dostupnosti proizvodnje i izvedbi ostaju ograničeni. Kašnjenje u stvarnom svijetu također će ovisiti o veličini nosivosti, obradi medija, geografiji i količini zahtjeva.

Neposredni inženjerski zadatak stoga je kontrolirana evaluacija, a ne široka zamjena postojećih klasifikatora. Programeri bi trebali testirati reprezentativne multimodalne unose, usporediti rezultate pouzdanosti s poznatim ishodima i provjeriti kako se pogreške i djelomični rezultati ponašaju u velikim skupinama pitanja. Timovi pristupnika i platforme trebali bi dodatno potvrditi da njihovi zapisnici mogu razlikovati zahtjev za odluku od generiranja prije nego što krajnju točku učine dostupnom korisnicima.