Google har introdusert Gemini Decisions API, et nytt endepunkt for programmer som trenger avgrensede svar i stedet for generert prosa. Utgitt 11. november kan API evaluere så mange som 1000 ja-eller-nei-, flervalgs- eller rubrikkpoengspørsmål i én forespørsel.
Endepunktet godtar tekst, bilder, lyd, video og PDF-inndata innenfor en grense på 256 000 tokens. I stedet for å returnere et essay eller chat-svar, produserer det sannsynligheter og konfidenspoeng som programvare kan bruke til klassifisering, rangering, policysjekker og ruting. Google sier at forespørsler kan fullføres med ende-til-ende-forsinkelse på 150 til 250 millisekunder, selv om dette ytelsestallet ennå ikke er etablert uavhengig på tvers av produksjonsarbeidsbelastninger.
En egen API overflate for beslutninger
Utgivelsen er mer konsekvens enn å legge til en annen Gemini-modell i en leverandørkatalog. De fleste OpenAI-kompatible integrasjoner forutsetter en generativ forespørsel: klienten sender meldinger eller input-elementer, modellen returnerer tekst eller strukturert utdata, og leverandøren tar betalt for en kombinasjon av input- og output-tokens.
Gemini Beslutninger bruker en annen kontrakt. En applikasjon gir kildemateriale og et avgrenset sett med spørsmål, og mottar deretter numerisk bevis for hvert mulig svar. Denne utformingen er egnet for oppgaver som å bestemme om innhold skal legges inn i en vurderingskø, velge en modell for en forespørsel, vurdere hentet kontekst eller bruke en dokumentert scoringsrubrikk.
Utviklere kan tilnærme disse arbeidsflytene med vanlig tekstgenerering, men genererte svar krever analysering og kan introdusere ordlyd som applikasjonen ikke trenger. Et spesialbygget beslutningsendepunkt gir et mer eksplisitt grensesnitt: det meningsfulle resultatet er det valgte alternativet og dets tilhørende sannsynlighet eller tillit, ikke et avsnitt av prosa.
Prisen endrer målemodellen
Google viser prisen til $0,10 per million input tokens og fakturerer ikke output tokens. Det er en betydelig avvik fra input-output-regnskapet som brukes av konvensjonelle generasjonsmodeller. Det betyr også at en forespørsel kan returnere kommersielt viktige data selv om antallet fakturerbare utdatatokener er null.
Gateway-operatører kan derfor ikke stole på token-totaler alene. Bruksposter må bevare arbeidsbelastningstypen, inndatavolumet, antall spørsmål og relevante svarmetadata. Systemer som tilbyr unified AI API billing kan også trenge en separat prislisteregel slik at en null utdata-tokenverdi ikke forveksles med en manglende eller ufullstendig brukspost.
Batching skaper et nytt driftsspørsmål. Støtte for opptil 1000 spørsmål i én forespørsel kan redusere nettverkskostnader, men bedrifter må fortsatt bestemme hvordan dette arbeidet skal tilskrives internt. Ett API-anrop kan representere hundrevis av moderasjonssjekker, rutingbeslutninger eller dokumentscore utført for forskjellige produkter eller kunder.
Kompatibilitet går utover å endre et modellnavn
Modellen er tilgjengelig via Gemini API i Google AI Studio. For team som ringer Google direkte, vil bruk kreve en klient som forstår dens beslutningsorienterte forespørsels- og svarstrukturer. For en multi-modell API gateway for team, vil det å avsløre endepunktet som om det var en vanlig chat-modell skjule viktig atferd og kunne gjøre feilhåndtering, analyser og fakturering tvetydig.
Et renere gatewaydesign vil identifisere beslutninger som en distinkt arbeidsbelastningsklasse. Rutingpolicy kan deretter sende avgrenset klassifiserings- og scoringsarbeid til det nye endepunktet mens man reserverer generative modeller for forespørsler som faktisk krever språkutdata. Inngangskontroller bør også validere antall spørsmål, støttede medier og inndatastørrelse før du videresender en forespørsel.
Konfidensdataene fortjener nøye behandling. En poengsum er nyttig for terskler og eskaleringsregler, men den er ikke bevis på at en avgjørelse er riktig eller kalibrert for hvert domene. Team som bruker API for konsekvente arbeidsflyter for retningslinjer eller samsvar, vil trenge sine egne evalueringer, terskeltester og veier for menneskelig vurdering i stedet for å ta i bruk én universell grense.
Hva forblir uprøvd
Googles kunngjøring fastslår API-formen, publisert pris og påstått ventetid, men uavhengige bevis om produksjonstilgjengelighet og ytelse er fortsatt begrenset. Den virkelige ventetiden vil også avhenge av nyttelaststørrelse, mediebehandling, geografi og forespørselsvolum.
Den umiddelbare ingeniøroppgaven er derfor kontrollert evaluering i stedet for omfattende erstatning av eksisterende klassifiseringer. Utviklere bør teste representative multimodale input, sammenligne konfidensskårer med kjente utfall og verifisere hvordan feil og delresultater oppfører seg i store spørsmålsgrupper. Gateway- og plattformteam bør i tillegg bekrefte at loggene deres kan skille en beslutningsforespørsel fra generering før endepunktet gjøres tilgjengelig for kundene.