Google predstavilo Geminirozhodnutia API, nový koncový bod pre aplikácie, ktoré namiesto generovanej prózy vyžadujú ohraničené odpovede. API, ktorý bol vydaný 11. novembra, dokáže vyhodnotiť až 1 000 otázok typu áno alebo nie, otázok s možnosťou výberu z viacerých odpovedí alebo otázok s hodnotením podľa rubriky v jednej žiadosti.

Koncový bod akceptuje text, obrázky, audio, video a PDF vstupy v rámci limitu 256 000 tokenov. Namiesto vrátenia odpovede na esej alebo chat, vytvára pravdepodobnosti a skóre spoľahlivosti, ktoré môže softvér použiť na klasifikáciu, hodnotenie, kontrolu pravidiel a smerovanie. Google hovorí, že požiadavky sa môžu dokončiť s end-to-end latenciou 150 až 250 milisekúnd, hoci tento údaj o výkonnosti ešte nebol nezávisle stanovený v rámci produkčných úloh.

Samostatná plocha API pre rozhodnutia

Vydanie je dôslednejšie ako pridávanie ďalšieho modelu Gemini do katalógu poskytovateľov. Väčšina integrácií kompatibilných s OpenAI predpokladá generatívnu požiadavku: klient posiela správy alebo vstupné položky, model vracia text alebo štruktúrovaný výstup a poskytovateľ účtuje určitú kombináciu vstupných a výstupných tokenov.

Gemini Rozhodnutie používa inú zmluvu. Aplikácia poskytuje zdrojový materiál a ohraničený súbor otázok a potom dostáva číselné dôkazy pre každú možnú odpoveď. Tento dizajn je vhodný pre úlohy, ako je rozhodovanie o tom, či má obsah vstúpiť do poradia na kontrolu, výber modelu pre požiadavku, hodnotenie získaného kontextu alebo použitie zdokumentovanej bodovacej rubriky.

Vývojári by mohli tieto pracovné postupy priblížiť bežným generovaním textu, ale generované odpovede vyžadujú analýzu a môžu zaviesť formulácie, ktoré aplikácia nepotrebuje. Účelovo vytvorený koncový bod rozhodovania poskytuje explicitnejšie rozhranie: zmysluplným výstupom je vybratá možnosť a s ňou spojená pravdepodobnosť alebo spoľahlivosť, nie pasáž prózy.

Stanovenie cien mení model merania

Google uvádza cenu 0,10 USD za milión vstupných tokenov a neúčtuje výstupné tokeny. To je podstatný odklon od vstupno-výstupného účtovníctva používaného konvenčnými generačnými modelmi. Znamená to tiež, že požiadavka môže vrátiť komerčne dôležité údaje, aj keď je jej účtovateľný počet výstupných tokenov nula.

Prevádzkovatelia brán sa preto nemôžu spoliehať len na súčty tokenov. Záznamy o používaní musia zachovať typ pracovného zaťaženia, objem vstupov, počet otázok a relevantné metadáta odpovedí. Systémy ponúkajúce unified AI API billing môžu tiež potrebovať samostatné pravidlo cenníka, aby sa nulová hodnota výstupného tokenu nepomýlila s chýbajúcim alebo neúplným záznamom používania.

Dávkovanie vytvára ďalšiu operačnú otázku. Podpora až 1 000 otázok v jednej žiadosti môže znížiť réžiu siete, ale podniky sa budú musieť rozhodnúť, ako sa táto práca interne priradí. Jeden hovor API môže predstavovať stovky kontrol moderovania, rozhodnutí o smerovaní alebo skóre dokumentov vykonaných pre rôzne produkty alebo zákazníkov.

Kompatibilita presahuje zmenu názvu modelu

Model je dostupný prostredníctvom Gemini API v Google AI Studio. Pre tímy volajúce priamo Google bude prijatie vyžadovať klienta, ktorý rozumie štruktúre požiadaviek a odpovedí orientovaných na rozhodovanie. V prípade multimodelovej API brány pre tímy by odhalenie koncového bodu, ako keby to bol obyčajný model četu, skrylo dôležité správanie a mohlo by spôsobiť nejednoznačnosť spracovania chýb, analýzy a fakturácie.

Čistejší dizajn brány by identifikoval rozhodnutia ako osobitnú triedu pracovného zaťaženia. Smerovacia politika by potom mohla posielať ohraničenú klasifikáciu a skórovanie do nového koncového bodu a zároveň rezervovať generatívne modely pre požiadavky, ktoré skutočne vyžadujú jazykový výstup. Kontroly prijímania by tiež mali overiť počet otázok, podporované médiá a veľkosť vstupu pred odoslaním žiadosti.

Údaje o spoľahlivosti si zaslúžia starostlivé spracovanie. Skóre je užitočné pre prahové hodnoty a pravidlá eskalácie, ale nie je dôkazom, že rozhodnutie je správne alebo kalibrované pre každú doménu. Tímy, ktoré používajú API pre následné pracovné postupy týkajúce sa politiky alebo dodržiavania súladu, budú potrebovať vlastné hodnotenia, prahové testy a cesty kontroly človekom, a nie prijatie jedného univerzálneho limitu.

Čo zostáva nedokázané

Oznámenie

Google stanovuje tvar API, zverejnenú cenu a nárokovanú latenciu, ale nezávislé dôkazy o dostupnosti produkcie a výkone zostávajú obmedzené. Latencia v reálnom svete bude závisieť aj od veľkosti užitočného zaťaženia, spracovania médií, geografickej polohy a objemu požiadaviek.

Okamžitou inžinierskou úlohou je preto skôr riadené hodnotenie než rozsiahle nahradenie existujúcich klasifikátorov. Vývojári by mali otestovať reprezentatívne multimodálne vstupy, porovnať skóre spoľahlivosti so známymi výsledkami a overiť, ako sa správajú chyby a čiastkové výsledky vo veľkých dávkach otázok. Pred sprístupnením koncového bodu zákazníkom by tímy brány a platformy mali navyše potvrdiť, že ich denníky dokážu rozlíšiť požiadavku na rozhodnutie od generovania.