Google har introduceret Gemini Decisions API, et nyt slutpunkt for applikationer, der har brug for afgrænsede svar frem for genereret prosa. Udgivet den 11. november kan API evaluere så mange som 1.000 ja-eller-nej-, multiple-choice- eller rubrik-score-spørgsmål på én anmodning.
Endepunktet accepterer tekst, billeder, lyd, video og PDF-input inden for en inputgrænse på 256.000 tokens. I stedet for at returnere et essay eller chatsvar, producerer det sandsynligheder og tillidsscore, som software kan bruge til klassificering, rangering, politiktjek og routing. Google siger, at anmodninger kan fuldføres med en ende-til-ende-forsinkelse på 150 til 250 millisekunder, selvom dette præstationstal endnu ikke er blevet uafhængigt fastlagt på tværs af produktionsarbejdsbelastninger.
En separat API overflade til beslutninger
Udgivelsen er mere konsekvens end at tilføje en anden Gemini-model til et udbyderkatalog. De fleste OpenAI-kompatible integrationer forudsætter en generativ anmodning: Klienten sender beskeder eller inputelementer, modellen returnerer tekst eller struktureret output, og udbyderen opkræver betaling for en kombination af input- og outputtokens.
Gemini Beslutninger bruger en anden kontrakt. En ansøgning leverer kildemateriale og et afgrænset sæt spørgsmål, og modtager derefter numerisk dokumentation for hvert muligt svar. Dette design er velegnet til opgaver som f.eks. at beslutte, om indhold skal indgå i en gennemgangskø, vælge en model til en anmodning, bedømme hentet kontekst eller anvende en dokumenteret scoringsrubrik.
Udviklere kunne tilnærme disse arbejdsgange med almindelig tekstgenerering, men genererede svar kræver parsing og kan introducere ordlyd, som applikationen ikke har brug for. Et specialbygget beslutningsendepunkt giver en mere eksplicit grænseflade: Det meningsfulde output er den valgte mulighed og dens tilhørende sandsynlighed eller tillid, ikke en passage af prosa.
Prisen ændrer målemodellen
Google angiver prisen til $0,10 pr. million input-tokens og fakturerer ikke output-tokens. Det er en væsentlig afvigelse fra input-output-regnskabet, der anvendes af konventionelle generationsmodeller. Det betyder også, at en anmodning kan returnere kommercielt vigtige data, selvom dets fakturerbare output-tokenantal er nul.
Gateway-operatører kan derfor ikke stole på token-totaler alene. Brugsregistreringer skal bevare arbejdsbelastningstypen, inputvolumen, antallet af spørgsmål og relevante svarmetadata. Systemer, der tilbyder unified AI API billing kan også have brug for en separat takstkortregel, så en nul output-tokenværdi ikke forveksles med en manglende eller ufuldstændig brugspost.
Batching skaber endnu et operationelt spørgsmål. Understøttelse af op til 1.000 spørgsmål i én anmodning kan reducere netværksomkostningerne, men virksomheder skal stadig beslutte, hvordan dette arbejde tilskrives internt. Et API opkald kan repræsentere hundredvis af moderationskontroller, routingbeslutninger eller dokumentscore udført for forskellige produkter eller kunder.
Kompatibilitet rækker ud over at ændre et modelnavn
Modellen er tilgængelig via Gemini API i Google AI Studio. For teams, der ringer direkte til Google, kræver adoption en klient, der forstår dens beslutningsorienterede anmodnings- og svarstrukturer. For en multi-model API gateway for teams vil en afsløring af slutpunktet, som om det var en almindelig chatmodel, skjule vigtig adfærd og kunne gøre fejlhåndtering, analyser og fakturering tvetydige.
Et renere gatewaydesign vil identificere beslutninger som en særskilt arbejdsbelastningsklasse. Routingpolitik kunne derefter sende afgrænset klassifikations- og scoringsarbejde til det nye endepunkt, mens generative modeller reserveres til anmodninger, der faktisk kræver sprogoutput. Adgangskontroller bør også validere antallet af spørgsmål, understøttede medier og inputstørrelse, før en anmodning videresendes.
Konfidensdataene fortjener omhyggelig behandling. En score er nyttig for tærskler og eskaleringsregler, men det er ikke bevis for, at en beslutning er korrekt eller kalibreret for hvert domæne. Teams, der bruger API til konsekvente politik- eller overholdelsesarbejdsgange, har brug for deres egne evalueringer, tærskeltests og stier til menneskelig gennemgang i stedet for at vedtage én universel cutoff.
Hvad forbliver ubevist
Googles meddelelse fastlægger API-formen, offentliggjort pris og påstået forsinkelse, men uafhængige beviser om produktionstilgængelighed og ydeevne er fortsat begrænset. Latens i den virkelige verden vil også afhænge af nyttelaststørrelse, mediebehandling, geografi og anmodningsvolumen.
Den umiddelbare ingeniøropgave er derfor kontrolleret evaluering snarere end en bred udskiftning af eksisterende klassifikatorer. Udviklere bør teste repræsentative multimodale input, sammenligne konfidensresultater med kendte resultater og verificere, hvordan fejl og delvise resultater opfører sig i store spørgsmålspartier. Gateway- og platformsteams bør desuden bekræfte, at deres logfiler kan skelne en beslutningsanmodning fra generation, før slutpunktet gøres tilgængeligt for kunderne.