Google a introduit les Gemini Décisions API, un nouveau point de terminaison pour les applications qui ont besoin de réponses limitées plutôt que de prose généré. Lancé le 11 novembre, le API peut évaluer jusqu'à 1 000 questions par oui ou par non, à choix multiples ou à notation par rubrique en une seule requête.
Le point de terminaison accepte les entrées de texte, d'images, d'audio, de vidéo et de PDF dans une limite d'entrée de 256 000 jetons. Au lieu de renvoyer un essai ou une réponse par chat, il produit des probabilités et des scores de confiance que le logiciel peut utiliser pour la classification, le classement, les vérifications de politique et le routage. Google indique que les requêtes peuvent être exécutées avec une latence de bout en bout de 150 à 250 millisecondes, bien que ce chiffre de performances n'ait pas encore été établi de manière indépendante pour les charges de travail de production.
Une API surface distincte pour les décisions
La version est plus conséquente que l'ajout d'un autre modèle Gemini à un catalogue de fournisseurs. La plupart des intégrations compatibles OpenAI supposent une requête générative : le client envoie des messages ou des éléments d'entrée, le modèle renvoie du texte ou une sortie structurée et le fournisseur facture une combinaison de jetons d'entrée et de sortie.
Gemini Decisions utilise un contrat différent. Une application fournit du matériel source et un ensemble limité de questions, puis reçoit des preuves numériques pour chaque réponse possible. Cette conception est adaptée à des tâches telles que décider si le contenu doit entrer dans une file d'attente de révision, sélectionner un modèle pour une demande, noter le contexte récupéré ou appliquer une grille de notation documentée.
Les développeurs pourraient approximer ces flux de travail avec une génération de texte ordinaire, mais les réponses générées nécessitent une analyse et peuvent introduire des formulations dont l'application n'a pas besoin. Un point final de décision spécialement conçu fournit une interface plus explicite : le résultat significatif est l'option sélectionnée et sa probabilité ou confiance associée, et non un passage de prose.
La tarification modifie le modèle de mesure
Google indique le prix à 0,10 $ par million de jetons d'entrée et ne facture pas les jetons de sortie. Il s’agit là d’un écart considérable par rapport à la comptabilité entrées-sorties utilisée par les modèles de génération conventionnels. Cela signifie également qu'une requête peut renvoyer des données commercialement importantes même si son nombre de jetons de sortie facturables est nul.
Les opérateurs de passerelle ne peuvent donc pas se fier uniquement aux totaux de jetons. Les enregistrements d'utilisation doivent préserver le type de charge de travail, le volume d'entrée, le nombre de questions et les métadonnées de réponse pertinentes. Les systèmes offrant une IA unifiée API facturation peuvent également nécessiter une règle de grille tarifaire distincte afin qu'une valeur de jeton de sortie nulle ne soit pas confondue avec un enregistrement d'utilisation manquant ou incomplet.
Le traitement par lots crée une autre question opérationnelle. La prise en charge de jusqu'à 1 000 questions dans une seule requête peut réduire la surcharge du réseau, mais les entreprises devront toujours décider comment ce travail est attribué en interne. Un API appel peut représenter des centaines de contrôles de modération, de décisions de routage ou de scores de documents effectués pour différents produits ou clients.
La compatibilité va au-delà de la modification du nom d'un modèle
Le modèle est disponible via Gemini API dans Google AI Studio. Pour les équipes appelant directement Google, l'adoption nécessitera un client qui comprend ses structures de requêtes et de réponses orientées décision. Pour une passerelle multimodèle API pour les équipes, exposer le point de terminaison comme s'il s'agissait d'un modèle de chat ordinaire masquerait un comportement important et pourrait rendre la gestion des erreurs, l'analyse et la facturation ambiguës.
Une conception de passerelle plus claire identifierait les décisions comme une classe de charge de travail distincte. La politique de routage pourrait alors envoyer un travail de classification et de notation limité au nouveau point de terminaison tout en réservant les modèles génératifs aux requêtes qui nécessitent réellement une sortie linguistique. Les contrôles d'admission doivent également valider le nombre de questions, les médias pris en charge et la taille des entrées avant de transmettre une demande.
Les données de confiance méritent un traitement attentif. Un score est utile pour les seuils et les règles d'escalade, mais il ne constitue pas la preuve qu'une décision est correcte ou calibrée pour chaque domaine. Les équipes utilisant le API pour les flux de travail de politique ou de conformité conséquents auront besoin de leurs propres évaluations, tests de seuil et chemins d'examen humain plutôt que d'adopter un seuil universel.
Ce qui reste à prouver
L'annonce deGoogle établit la forme API, le prix publié et la latence revendiquée, mais les preuves indépendantes sur la disponibilité et les performances de la production restent limitées. La latence réelle dépendra également de la taille de la charge utile, du traitement multimédia, de la zone géographique et du volume des requêtes.
La tâche d'ingénierie immédiate est donc une évaluation contrôlée plutôt qu'un remplacement général des classificateurs existants. Les développeurs doivent tester des entrées multimodales représentatives, comparer les scores de confiance avec les résultats connus et vérifier le comportement des erreurs et des résultats partiels dans les grands lots de questions. Les équipes de passerelle et de plate-forme doivent en outre confirmer que leurs journaux peuvent distinguer une demande de décision de la génération avant de mettre le point de terminaison à la disposition des clients.