Google představila GeminiRozhodnutí API, nový koncový bod pro aplikace, které potřebují omezené odpovědi, nikoli generovanou prózu. API, vydaný 11. listopadu, může v jedné žádosti vyhodnotit až 1 000 otázek typu ano nebo ne, s výběrem z více odpovědí nebo s hodnocením rubrik.
Koncový bod přijímá text, obrázky, audio, video a PDF vstupy v rámci vstupního limitu 256 000 tokenů. Namísto vracení odpovědi na esej nebo chatu vytváří pravděpodobnosti a skóre spolehlivosti, které může software použít pro klasifikaci, hodnocení, kontroly zásad a směrování. Google říká, že požadavky mohou být dokončeny s end-to-end latencí 150 až 250 milisekund, ačkoli toto číslo výkonu ještě nebylo nezávisle stanoveno pro různé produkční úlohy.
Samostatná plocha API pro rozhodování
Vydání je důslednější než přidání dalšího Gemini modelu do katalogu poskytovatelů. Většina integrací kompatibilních s OpenAI předpokládá generativní požadavek: klient odešle zprávy nebo vstupní položky, model vrátí text nebo strukturovaný výstup a poskytovatel si účtuje nějakou kombinaci vstupních a výstupních tokenů.
Gemini Rozhodnutí používá jinou smlouvu. Aplikace poskytuje zdrojový materiál a omezenou sadu otázek a poté obdrží číselné důkazy pro každou možnou odpověď. Tento návrh je vhodný pro úkoly, jako je rozhodování, zda má obsah vstoupit do fronty ke kontrole, výběr modelu pro požadavek, hodnocení načteného kontextu nebo použití zdokumentované bodovací rubriky.
Vývojáři by mohli tyto pracovní postupy přiblížit běžným generováním textu, ale generované odpovědi vyžadují analýzu a mohou zavést formulace, které aplikace nepotřebuje. Účelově vytvořený koncový bod rozhodování poskytuje explicitnější rozhraní: smysluplným výstupem je vybraná možnost a s ní spojená pravděpodobnost nebo spolehlivost, nikoli pasáž prózy.
Cena mění model měření
Google uvádí cenu 0,10 $ za milion vstupních tokenů a neúčtuje výstupní tokeny. To je podstatná odchylka od účtování vstupů a výstupů používaných konvenčními generačními modely. Znamená to také, že požadavek může vrátit komerčně důležitá data, i když je jeho počet zúčtovatelných výstupních tokenů nulový.
Operátoři brány se proto nemohou spoléhat pouze na celkový počet tokenů. Záznamy o použití musí zachovat typ zátěže, objem vstupu, počet otázek a relevantní metadata odpovědí. Systémy nabízející unified AI API billing mohou také potřebovat samostatné pravidlo ceníku, aby nulová hodnota výstupního tokenu nebyla zaměněna za chybějící nebo neúplný záznam o použití.
Dávkování vytváří další provozní otázku. Podpora až 1 000 otázek v jedné žádosti může snížit režii sítě, ale podniky se budou muset rozhodnout, jak bude tato práce interně přiřazována. Jeden hovor API může představovat stovky kontrol moderování, rozhodnutí o směrování nebo skóre dokumentů provedených pro různé produkty nebo zákazníky.
Kompatibilita přesahuje změnu názvu modelu
Model je dostupný prostřednictvím Gemini API v Google AI Studio. U týmů volajících přímo Google bude přijetí vyžadovat klienta, který rozumí strukturám požadavků a odpovědí orientovaných na rozhodování. U multimodelové API brány pro týmy by odhalení koncového bodu, jako by to byl běžný model chatu, skrylo důležité chování a mohlo by být zpracování chyb, analýzy a fakturace nejednoznačné.
Čistější design brány by identifikoval rozhodnutí jako samostatnou třídu pracovní zátěže. Zásady směrování by pak mohly posílat omezenou klasifikaci a práci s bodováním do nového koncového bodu a zároveň rezervovat generativní modely pro požadavky, které skutečně vyžadují jazykový výstup. Kontroly přijetí by také měly ověřit počet otázek, podporovaná média a vstupní velikost před předáním požadavku.
Údaje o spolehlivosti si zaslouží pečlivé zpracování. Skóre je užitečné pro prahové hodnoty a pravidla eskalace, ale není důkazem, že rozhodnutí je správné nebo kalibrované pro každou doménu. Týmy využívající API pro následné pracovní postupy se zásadami nebo dodržováním předpisů budou potřebovat vlastní hodnocení, prahové testy a cesty lidské kontroly, než aby přijaly jednu univerzální hranici.
Co zůstává neprokázané
OznámeníGoogle stanoví tvar API, zveřejněnou cenu a nárokovanou latenci, ale nezávislé důkazy o dostupnosti a výkonu produkce zůstávají omezené. Latence v reálném světě bude také záviset na velikosti užitečného zatížení, zpracování médií, geografické poloze a objemu požadavků.
Bezprostředním inženýrským úkolem je tedy spíše řízené vyhodnocování než plošné nahrazování stávajících klasifikátorů. Vývojáři by měli otestovat reprezentativní multimodální vstupy, porovnat skóre spolehlivosti se známými výsledky a ověřit, jak se chyby a dílčí výsledky chovají ve velkých dávkách otázek. Před zpřístupněním koncového bodu zákazníkům by týmy brány a platformy měly navíc potvrdit, že jejich protokoly dokážou rozlišit požadavek na rozhodnutí od generování.