Google har introducerat Gemini Decisions API, en ny slutpunkt för applikationer som behöver avgränsade svar snarare än genererad prosa. Släppt den 11 november, API kan utvärdera så många som 1 000 ja-eller-nej-, flervals- eller rubrikbetygsfrågor i en förfrågan.
Slutpunkten accepterar text, bilder, ljud, video och PDF-indata inom en inmatningsgräns på 256 000 token. Istället för att returnera en uppsats eller chattsvar, producerar den sannolikheter och konfidenspoäng som programvara kan använda för klassificering, rangordning, policykontroller och routing. Google säger att förfrågningar kan slutföras med en fördröjning från ända till ända på 150 till 250 millisekunder, även om den prestandasiffran ännu inte har fastställts oberoende av produktionsbelastningar.
En separat API yta för beslut
Releasen är mer följdriktig än att lägga till ytterligare en Gemini-modell i en leverantörskatalog. De flesta OpenAI-kompatibla integrationer förutsätter en generativ begäran: klienten skickar meddelanden eller inmatningsobjekt, modellen returnerar text eller strukturerad utdata och leverantören tar betalt för en kombination av in- och utdatatokens.
Gemini Beslut använder ett annat kontrakt. En ansökan tillhandahåller källmaterial och en avgränsad uppsättning frågor, och får sedan numeriska bevis för varje möjligt svar. Den designen är lämpad för uppgifter som att bestämma om innehåll ska hamna i en granskningskö, välja en modell för en begäran, betygsätta hämtat sammanhang eller tillämpa en dokumenterad poängbedömning.
Utvecklare skulle kunna approximera dessa arbetsflöden med vanlig textgenerering, men genererade svar kräver analys och kan introducera formuleringar som programmet inte behöver. En specialanpassad slutpunkt för beslut ger ett mer explicit gränssnitt: den meningsfulla utdatan är det valda alternativet och dess associerade sannolikhet eller förtroende, inte ett avsnitt av prosa.
Prissättningen ändrar mätningsmodellen
Google visar priset på 0,10 USD per miljon inmatade tokens och fakturerar inte utdatatoken. Det är en väsentlig avvikelse från input-output-redovisningen som används av konventionella generationsmodeller. Det betyder också att en begäran kan returnera kommersiellt viktig data även om antalet fakturerbara utdatatoken är noll.
Gateway-operatörer kan därför inte förlita sig enbart på tokensummor. Användningsposter måste bevara arbetsbelastningstyp, inmatningsvolym, antal frågor och relevanta svarsmetadata. System som erbjuder unified AI API billing kan också behöva en separat taxeringsregel så att ett nollutdata-tokenvärde inte misstas för en saknad eller ofullständig användningspost.
Batchning skapar en annan operativ fråga. Att stödja upp till 1 000 frågor i en förfrågan kan minska nätverkskostnader, men företag måste fortfarande bestämma hur det arbetet ska tillskrivas internt. Ett API samtal kan representera hundratals modereringskontroller, routingbeslut eller dokumentpoäng utförda för olika produkter eller kunder.
Kompatibilitet går längre än att ändra ett modellnamn
Modellen är tillgänglig via Gemini API i Google AI Studio. För team som ringer Google direkt kräver införandet en kund som förstår dess beslutsorienterade förfrågnings- och svarsstrukturer. För en multi-model API gateway for teams skulle det dölja viktigt beteende att exponera slutpunkten som om det vore en vanlig chattmodell och göra felhantering, analys och fakturering tvetydig.
En renare gatewaydesign skulle identifiera beslut som en distinkt arbetsbelastningsklass. Routningspolicy kan sedan skicka begränsat klassificerings- och poängarbete till den nya slutpunkten samtidigt som generativa modeller reserveras för förfrågningar som faktiskt kräver språkutdata. Antagningskontroller bör också validera antalet frågor, media som stöds och indatastorlek innan en förfrågan vidarebefordras.
Konfidensdata förtjänar noggrann behandling. En poäng är användbar för trösklar och eskaleringsregler, men det är inte ett bevis på att ett beslut är korrekt eller kalibrerat för varje domän. Team som använder API för konsekventa policy- eller efterlevnadsarbetsflöden kommer att behöva sina egna utvärderingar, tröskeltester och vägar för mänsklig granskning snarare än att anta en universell cutoff.
Vad är fortfarande obevisat
Googles meddelande fastställer API-formen, publicerat pris och påstådd fördröjning, men oberoende bevis om produktionstillgänglighet och prestanda är fortfarande begränsade. Den verkliga latenstiden beror också på nyttolaststorlek, mediabearbetning, geografi och förfrågningsvolym.
Den omedelbara ingenjörsuppgiften är därför kontrollerad utvärdering snarare än en bred ersättning av befintliga klassificerare. Utvecklare bör testa representativa multimodala indata, jämföra konfidenspoäng med kända resultat och verifiera hur fel och delresultat beter sig i stora frågepartier. Gateway- och plattformsteam bör dessutom bekräfta att deras loggar kan skilja en beslutsbegäran från generation innan slutpunkten görs tillgänglig för kunder.