Google hat Gemini Decisions API eingeführt, einen neuen Endpunkt für Anwendungen, die begrenzte Antworten statt generierter Prosa benötigen. Das API wurde am 11. November veröffentlicht und kann bis zu 1.000 Ja-oder-Nein-, Multiple-Choice- oder Rubrikenbewertungsfragen in einer Anfrage bewerten.

Der Endpunkt akzeptiert Text-, Bild-, Audio-, Video- und PDF-Eingaben innerhalb eines Eingabelimits von 256.000 Token. Anstatt einen Aufsatz oder eine Chat-Antwort zurückzugeben, werden Wahrscheinlichkeiten und Konfidenzwerte erstellt, die von der Software für Klassifizierung, Rangfolge, Richtlinienprüfungen und Weiterleitung verwendet werden können. Google sagt, dass Anfragen mit einer End-to-End-Latenz von 150 bis 250 Millisekunden abgeschlossen werden können, obwohl dieser Leistungswert noch nicht unabhängig für Produktions-Workloads ermittelt wurde.

Eine separate API Oberfläche für Entscheidungen

Die Veröffentlichung ist folgenreicher als das Hinzufügen eines weiteren Gemini Modells zu einem Anbieterkatalog. Die meisten OpenAI-kompatiblen Integrationen gehen von einer generativen Anfrage aus: Der Client sendet Nachrichten oder Eingabeelemente, das Modell gibt Text oder eine strukturierte Ausgabe zurück und der Anbieter berechnet eine Gebühr für eine Kombination aus Eingabe- und Ausgabetokens.

Gemini Decisions verwendet einen anderen Vertrag. Eine Bewerbung liefert Quellenmaterial und eine begrenzte Reihe von Fragen und erhält dann numerische Beweise für jede mögliche Antwort. Dieses Design eignet sich für Aufgaben wie die Entscheidung, ob Inhalte in eine Überprüfungswarteschlange aufgenommen werden sollen, die Auswahl eines Modells für eine Anfrage, die Bewertung des abgerufenen Kontexts oder die Anwendung einer dokumentierten Bewertungsrubrik.

Entwickler könnten diese Arbeitsabläufe durch normale Textgenerierung annähern, aber generierte Antworten erfordern eine Analyse und können Formulierungen einführen, die die Anwendung nicht benötigt. Ein speziell entwickelter Entscheidungsendpunkt bietet eine explizitere Schnittstelle: Die aussagekräftige Ausgabe ist die ausgewählte Option und die damit verbundene Wahrscheinlichkeit oder Konfidenz, keine Prosapassage.

Preise ändern das Messmodell

Google gibt den Preis mit 0,10 $ pro Million Input-Tokens an und stellt keine Output-Tokens in Rechnung. Das ist eine wesentliche Abweichung von der Input-Output-Rechnung herkömmlicher Erzeugungsmodelle. Dies bedeutet auch, dass eine Anfrage möglicherweise kommerziell wichtige Daten zurückgibt, obwohl die Anzahl der abrechenbaren Ausgabetokens Null ist.

Gateway-Betreiber können sich daher nicht allein auf die Gesamtzahl der Token verlassen. Nutzungsdatensätze müssen den Arbeitslasttyp, das Eingabevolumen, die Anzahl der Fragen und relevante Antwortmetadaten bewahren. Systeme, die unified AI API Billing anbieten, benötigen möglicherweise auch eine separate Tarifkartenregel, damit ein Ausgabe-Token-Wert von Null nicht mit einem fehlenden oder unvollständigen Nutzungsdatensatz verwechselt wird.

Batching erzeugt eine weitere operative Frage. Die Unterstützung von bis zu 1.000 Fragen in einer Anfrage kann den Netzwerkaufwand reduzieren, Unternehmen müssen jedoch weiterhin entscheiden, wie diese Arbeit intern zugeordnet wird. Ein API-Aufruf kann Hunderte von Moderationsprüfungen, Weiterleitungsentscheidungen oder Dokumentbewertungen umfassen, die für verschiedene Produkte oder Kunden durchgeführt wurden.

Kompatibilität geht über die Änderung eines Modellnamens hinaus

Das Modell ist über Gemini API in Google AI Studio verfügbar. Für Teams, die Google direkt anrufen, erfordert die Einführung einen Client, der seine entscheidungsorientierten Anfrage- und Antwortstrukturen versteht. Bei einem Gateway mit mehreren Modellen API für Teams würde die Offenlegung des Endpunkts, als wäre es ein gewöhnliches Chat-Modell, wichtiges Verhalten verbergen und könnte Fehlerbehandlung, Analyse und Abrechnung mehrdeutig machen.

Ein saubereres Gateway-Design würde Entscheidungen als eigenständige Arbeitslastklasse identifizieren. Die Routing-Richtlinie könnte dann begrenzte Klassifizierungs- und Bewertungsarbeiten an den neuen Endpunkt senden und gleichzeitig generative Modelle für Anforderungen reservieren, die tatsächlich eine Sprachausgabe erfordern. Zulassungskontrollen sollten außerdem die Anzahl der Fragen, die unterstützten Medien und die Eingabegröße überprüfen, bevor eine Anfrage weitergeleitet wird.

Die Konfidenzdaten verdienen eine sorgfältige Behandlung. Ein Score ist für Schwellenwerte und Eskalationsregeln nützlich, aber er ist kein Beweis dafür, dass eine Entscheidung für jeden Bereich richtig oder kalibriert ist. Teams, die API für Folgerichtlinien- oder Compliance-Workflows verwenden, benötigen ihre eigenen Bewertungen, Schwellenwerttests und menschlichen Überprüfungspfade, anstatt einen einheitlichen Grenzwert einzuführen.

Was noch unbewiesen ist

Die Ankündigung von

Google legt die Form von API, den veröffentlichten Preis und die behauptete Latenz fest, unabhängige Beweise zur Produktionsverfügbarkeit und -leistung bleiben jedoch begrenzt. Die reale Latenz hängt auch von der Nutzlastgröße, der Medienverarbeitung, der Geografie und dem Anfragevolumen ab.

Die unmittelbare technische Aufgabe ist daher eine kontrollierte Bewertung und nicht ein umfassender Ersatz vorhandener Klassifikatoren. Entwickler sollten repräsentative multimodale Eingaben testen, Konfidenzwerte mit bekannten Ergebnissen vergleichen und überprüfen, wie sich Fehler und Teilergebnisse in großen Fragengruppen verhalten. Gateway- und Plattformteams sollten zusätzlich bestätigen, dass ihre Protokolle eine Entscheidungsanfrage von einer Generierung unterscheiden können, bevor sie den Endpunkt den Kunden zur Verfügung stellen.