Google a étendu les capacités de traitement de documents du Gemini API avec une prise en charge native des fichiers Microsoft Office et OpenDocument, ainsi que des contrôles permettant de sélectionner uniquement les parties d'un fichier qu'un modèle doit traiter.
Les applications peuvent soumettre des documents Word, des présentations PowerPoint, des classeurs Excel et des fichiers OpenDocument sans les convertir au préalable dans un autre format pris en charge. Ils peuvent également cibler des pages de document, des onglets de feuille de calcul, des plages de cellules, des intervalles audio ou vidéo et des couches de contenu spécifiques. Google indique que les clients traitent et paient uniquement pour le contenu sélectionné.
La combinaison compte plus que la prise en charge de base du format de fichier. Il transforme la sélection de fichiers en une partie de la demande d'inférence et de sa sémantique de facturation, réduisant potentiellement la quantité de données non pertinentes envoyées à un modèle. Cela crée également un nouveau défi de compatibilité pour les passerelles qui tentent de présenter une interface cohérente entre les fournisseurs.
La conversion de fichiers n'est plus toujours nécessaire
Les applications de documents utilisent généralement des services de conversion pour extraire du texte, restituer des pages ou normaliser des fichiers avant d'envoyer leur contenu à un modèle. La prise en charge native d'Office peut supprimer certaines de ces étapes des pipelines basés sur Gemini, en particulier pour les flux de travail construits autour de rapports, de présentations et de feuilles de calcul.
Cela pourrait simplifier les systèmes d'ingestion et préserver davantage la structure d'origine d'un document. Un assistant financier, par exemple, pourrait diriger Gemini vers une feuille de calcul ou une plage de cellules particulière au lieu d'extraire et de transmettre un classeur entier. Un flux de travail de présentation peut sélectionner un groupe de diapositives, tandis qu'une application multimédia peut isoler un intervalle audio ou vidéo pertinent.
Le découpage est disponible à la fois dans les invites utilisateur et dans les réponses des fonctions de support de fichiers. Ce dernier point est important pour les agents : un outil peut renvoyer un fichier tout en identifiant la partie qui doit être prise en compte par le modèle, plutôt que de forcer l'application à créer un fichier dérivé distinct pour chaque résultat de l'outil.
Les gains pratiques varient. Les formules complexes, les objets incorporés et les présentations Office inhabituelles peuvent ne pas se comporter de manière cohérente d'un fichier à l'autre, et le package de recherche n'établit pas de réduction universelle des jetons ou de la latence. Les équipes auront besoin de tests représentatifs avant de supprimer les étapes de conversion et de validation existantes.
Le contenu sélectionné devient une limite de facturation
Google La déclaration selon laquelle les clients ne paient que pour le contenu sélectionné introduit une limite de coût plus granulaire que le traitement de l'ensemble du fichier. Les applications peuvent potentiellement éviter de payer pour inspecter des centaines de pages non pertinentes ou d'onglets de feuille de calcul inutilisés lorsqu'une tâche ne concerne qu'une section étroite.
Les développeurs doivent toujours éviter de traiter un sélecteur comme une estimation de coût garantie. Le nombre éventuel de jetons et le temps de traitement peuvent dépendre de la structure du fichier, de la tranche sélectionnée et de la manière dont le modèle représente ce matériau. Les enregistrements d'utilisation doivent conserver à la fois la référence du fichier d'origine et les paramètres de sélection exacts afin que les coûts puissent être expliqués ultérieurement.
Cela est particulièrement pertinent pour les revendeurs et les plates-formes logicielles qui montrent aux clients une répartition de l'utilisation. Leurs registres devront peut-être distinguer la taille d'un fichier téléchargé de la partie soumise pour inférence. Sans cette distinction, une facture pourrait sembler incohérente avec le document visible par l'utilisateur ou rendre difficile l'enquête sur les litiges de coûts.
OpenAI la compatibilité ne couvre pas tous les sélecteurs
Les sélecteurs de page, de feuille de calcul, de plage de cellules, d'intervalle multimédia et de couche de contenu ne correspondent pas parfaitement à une entrée de fichier compatible OpenAI classique.Une passerelle API multimodèle pour les équipes a donc plusieurs choix : exposer des extensions spécifiques Gemini, traduire un sous-ensemble portable de sélecteurs ou exiger que les applications prétraitent les fichiers avant d'utiliser des fournisseurs qui ne disposent pas de contrôles équivalents.
Il serait risqué de supprimer silencieusement les sélecteurs non pris en charge. Cela pourrait amener un fournisseur à traiter un document entier, modifiant à la fois la réponse et la facture. Les passerelles doivent valider les demandes, identifier les types de sélection non pris en charge et enregistrer la demande normalisée qui a finalement été envoyée en amont.
Le même problème affecte le routage. Deux modèles peuvent tous deux annoncer la saisie de documents tout en prenant en charge des types de fichiers, des contrôles de sélection et des règles de facturation sensiblement différents. Un plan de contrôle IA API pour les équipes de développeurs devrait représenter explicitement ces fonctionnalités au lieu de traiter la « saisie de fichiers » comme une seule fonctionnalité interchangeable.
Ce que les développeurs devraient vérifier
Les équipes utilisant Gemini devraient tester des fichiers représentatifs Word, PowerPoint, Excel et OpenDocument, y compris les fichiers contenant des formules, des médias intégrés et des mises en page complexes. Ils doivent comparer les requêtes de fichiers entiers et découpées en fonction de la qualité des réponses, de l'utilisation et de la latence, tout en préservant les métadonnées du sélecteur dans les journaux.
Les opérateurs de passerelle ont un travail supplémentaire : définir un schéma pour les nouveaux contrôles, rejeter les itinéraires inter-fournisseurs non pris en charge et mettre à jour les mesures destinées aux clients pour montrer quel contenu a été sélectionné. La version peut réduire le travail de conversion et les traitements inutiles, mais uniquement lorsque ces nouvelles sémantiques de requête et de facturation survivent à chaque couche entre l'application et Gemini.