Google heeft de documentverwerkingsmogelijkheden van Gemini API uitgebreid met native ondersteuning voor Microsoft Office- en OpenDocument-bestanden, naast besturingselementen voor het selecteren van alleen de gedeelten van een bestand die een model zou moeten verwerken.

Applicaties kunnen Word-documenten, PowerPoint-presentaties, Excel-werkmappen en OpenDocument-bestanden indienen zonder deze eerst naar een ander ondersteund formaat te converteren. Ze kunnen zich ook richten op documentpagina's, werkbladtabbladen, celbereiken, audio- of video-intervallen en specifieke inhoudslagen. Google zegt dat klanten alleen de geselecteerde inhoud verwerken en betalen.

De combinatie is belangrijker dan de basisondersteuning voor bestandsformaten. Het maakt bestandsselectie onderdeel van het inferentieverzoek en de factureringssemantiek ervan, waardoor mogelijk de hoeveelheid irrelevant materiaal dat naar een model wordt verzonden, wordt verminderd. Het creëert ook een nieuwe compatibiliteitsuitdaging voor gateways die proberen een consistente interface tussen providers te bieden.

Bestandsconversie is niet langer altijd vereist

Documenttoepassingen gebruiken vaak conversieservices om tekst te extraheren, pagina's weer te geven of bestanden te normaliseren voordat ze de inhoud naar een model sturen. Native Office-ondersteuning kan een aantal van deze stappen verwijderen uit op Gemini gebaseerde pipelines, met name voor workflows die zijn opgebouwd rond rapporten, presentaties en spreadsheets.

Dat zou opnamesystemen kunnen vereenvoudigen en meer van de oorspronkelijke structuur van een document kunnen behouden. Een financieel assistent zou Gemini bijvoorbeeld naar een bepaald werkblad of celbereik kunnen leiden in plaats van een hele werkmap te extraheren en te verzenden. Een presentatieworkflow kan een groep dia's selecteren, terwijl een mediatoepassing een relevant audio- of video-interval kan isoleren.

Slicing is zowel beschikbaar in gebruikersprompts als in bestandsdragende functiereacties. Dit laatste is belangrijk voor agenten: een tool kan een bestand retourneren terwijl het gedeelte wordt geïdentificeerd dat door het model in aanmerking moet worden genomen, in plaats van de applicatie te dwingen een afzonderlijk afgeleid bestand te maken voor elk toolresultaat.

De praktische voordelen zullen variëren. Complexe formules, ingebedde objecten en ongebruikelijke Office-indelingen gedragen zich mogelijk niet consistent tussen bestanden, en het onderzoekspakket brengt geen universele token- of latentiereducties tot stand. Teams zullen representatieve tests nodig hebben voordat bestaande conversie- en validatiefasen worden verwijderd.

Geselecteerde inhoud wordt een factureringsgrens

Google's verklaring dat klanten alleen voor geselecteerde inhoud betalen, introduceert een gedetailleerder kostengrens dan verwerking van hele bestanden. Applicaties kunnen mogelijk voorkomen dat ze moeten betalen voor het inspecteren van honderden irrelevante pagina's of ongebruikte spreadsheettabbladen als een taak slechts een beperkt gedeelte betreft.

Ontwikkelaars moeten nog steeds vermijden een selector te behandelen als een gegarandeerde kostenraming. Het uiteindelijke tokenaantal en de verwerkingstijd kunnen afhangen van de bestandsstructuur, het geselecteerde segment en hoe het model dat materiaal representeert. Gebruiksrecords moeten zowel de originele bestandsreferentie als de exacte selectieparameters bevatten, zodat de kosten later kunnen worden verklaard.

Dit is vooral relevant voor wederverkopers en softwareplatforms die klanten een gebruiksoverzicht laten zien. Hun grootboeken moeten mogelijk onderscheid maken tussen de grootte van een geüpload bestand en het gedeelte dat ter gevolgtrekking is ingediend. Zonder dat onderscheid zou een factuur inconsistent kunnen lijken met het voor de gebruiker zichtbare document of het moeilijk maken om kostengeschillen te onderzoeken.

OpenAI Compatibiliteit dekt niet elke selector

Pagina-, werkblad-, celbereik-, media-interval- en inhoudlaagselectors komen niet netjes overeen met een conventionele OpenAI-compatibele bestandsinvoer.Een multi-model API gateway voor teams heeft daarom verschillende keuzes: Gemini-specifieke extensies beschikbaar stellen, een draagbare subset van selectors vertalen, of vereisen dat applicaties bestanden vooraf verwerken voordat ze providers gebruiken die gelijkwaardige controles missen.

Het stilzwijgend negeren van niet-ondersteunde selectors zou riskant zijn. Het kan ertoe leiden dat een aanbieder een heel document verwerkt, waardoor zowel het antwoord als de factuur wordt gewijzigd. Gateways moeten verzoeken valideren, niet-ondersteunde selectietypen identificeren en het genormaliseerde verzoek registreren dat uiteindelijk stroomopwaarts is verzonden.

Hetzelfde probleem heeft invloed op de routering. Twee modellen kunnen zowel documentinvoer adverteren als wezenlijk verschillende bestandstypen, selectiecontroles en factureringsregels ondersteunen. Een AI API-controlevlak voor ontwikkelaarsteams zou deze mogelijkheden expliciet moeten vertegenwoordigen in plaats van 'bestandsinvoer' te behandelen als een enkele uitwisselbare functie.

Wat ontwikkelaars moeten controleren

Teams die Gemini gebruiken, moeten representatieve Word-, PowerPoint-, Excel- en OpenDocument-bestanden testen, inclusief bestanden met formules, ingesloten media en complexe lay-outs. Ze moeten aanvragen voor het hele bestand en in segmenten vergelijken op de kwaliteit, het gebruik en de latentie van antwoorden, terwijl de metagegevens van de selector in logboeken behouden blijven.

Gateway-operators hebben extra werk: definieer een schema voor de nieuwe besturingselementen, wijs niet-ondersteunde routes tussen providers af en werk de klantgerichte meting bij om te laten zien welke inhoud is geselecteerd. De release kan conversiewerk en onnodige verwerking verminderen, maar alleen als deze nieuwe verzoeken en factureringssemantiek elke laag tussen de applicatie en Gemini.

overleven