Google ha ampliato le capacità di elaborazione dei documenti di Gemini API con il supporto nativo per i file Microsoft Office e OpenDocument, oltre ai controlli per selezionare solo le parti di un file che un modello dovrebbe elaborare.
Le applicazioni possono inviare documenti Word, presentazioni PowerPoint, cartelle di lavoro Excel e file OpenDocument senza prima convertirli in un altro formato supportato. Possono anche prendere di mira pagine di documenti, schede di fogli di lavoro, intervalli di celle, intervalli audio o video e livelli di contenuto specifici. Google afferma che i clienti elaborano e pagano solo per i contenuti selezionati.
La combinazione è più importante del supporto di base del formato file. Trasforma la selezione dei file in parte della richiesta di inferenza e della sua semantica di fatturazione, riducendo potenzialmente la quantità di materiale irrilevante inviato a un modello. Crea inoltre una nuova sfida di compatibilità per i gateway che tentano di presentare un'interfaccia coerente tra i provider.
La conversione dei file non è più sempre richiesta
Le applicazioni di documenti utilizzano comunemente servizi di conversione per estrarre testo, eseguire il rendering di pagine o normalizzare file prima di inviarne i contenuti a un modello. Il supporto nativo di Office può rimuovere alcuni di questi passaggi dalle pipeline basate su Gemini, in particolare per i flussi di lavoro basati su report, presentazioni e fogli di calcolo.
Ciò potrebbe semplificare i sistemi di importazione e preservare maggiormente la struttura originale di un documento. Un assistente finanziario, ad esempio, potrebbe indirizzare Gemini a un particolare foglio di lavoro o intervallo di celle invece di estrarre e trasmettere un'intera cartella di lavoro. Un flusso di lavoro di presentazione potrebbe selezionare un gruppo di diapositive, mentre un'applicazione multimediale potrebbe isolare un intervallo audio o video pertinente.
La suddivisione in sezioni è disponibile sia nei prompt dell'utente che nelle risposte delle funzioni contenenti file. Quest'ultimo aspetto è significativo per gli agenti: uno strumento può restituire un file identificando la porzione che dovrebbe essere considerata dal modello, invece di forzare l'applicazione a creare un file derivato separato per ogni risultato dello strumento.
I vantaggi pratici varieranno. Formule complesse, oggetti incorporati e layout insoliti di Office potrebbero non comportarsi in modo coerente tra i file e il pacchetto di ricerca non stabilisce token universali o riduzioni della latenza. I team avranno bisogno di test rappresentativi prima di rimuovere le fasi di conversione e convalida esistenti.
I contenuti selezionati diventano un limite di fatturazione
Google L'affermazione di che i clienti pagano solo per i contenuti selezionati introduce un limite di costo più granulare rispetto all'elaborazione dell'intero file. Le applicazioni possono potenzialmente evitare di pagare per ispezionare centinaia di pagine irrilevanti o schede di fogli di calcolo inutilizzate quando un'attività riguarda solo una sezione ristretta.
Gli sviluppatori dovrebbero comunque evitare di considerare un selettore come una stima dei costi garantita. L'eventuale conteggio dei token e il tempo di elaborazione possono dipendere dalla struttura del file, dalla sezione selezionata e dal modo in cui il modello rappresenta quel materiale. I record di utilizzo devono conservare sia il riferimento al file originale sia gli esatti parametri di selezione in modo che i costi possano essere spiegati in un secondo momento.
Ciò è particolarmente importante per i rivenditori e le piattaforme software che mostrano ai clienti un'analisi dettagliata dell'utilizzo. I loro registri potrebbero dover distinguere la dimensione di un file caricato dalla parte sottoposta a deduzione. Senza questa distinzione, una fattura potrebbe apparire incoerente con il documento visibile all'utente o rendere difficile l'analisi delle controversie sui costi.
OpenAI la compatibilità non copre tutti i selettori
I selettori di pagina, foglio di lavoro, intervallo di celle, intervallo multimediale e livello di contenuto non si mappano perfettamente su un input di file compatibile con OpenAI convenzionale.Un gateway multi-modello API per i team ha quindi diverse scelte: esporre Gemini estensioni specifiche, tradurre un sottoinsieme portatile di selettori o richiedere alle applicazioni di preelaborare i file prima di utilizzare provider privi di controlli equivalenti.
Eliminare silenziosamente i selettori non supportati sarebbe rischioso. Potrebbe far sì che un fornitore elabori un intero documento, modificando sia la risposta che la fattura. I gateway dovrebbero convalidare le richieste, identificare i tipi di selezione non supportati e registrare la richiesta normalizzata che è stata infine inviata a monte.
Lo stesso problema riguarda il routing. Due modelli possono entrambi pubblicizzare l'input di documenti supportando tipi di file, controlli di selezione e regole di fatturazione sostanzialmente diversi. Un piano di controllo AI API per i team di sviluppatori dovrebbe rappresentare tali funzionalità in modo esplicito invece di trattare l'"input di file" come una singola funzionalità intercambiabile.
Cosa dovrebbero controllare gli sviluppatori
I team che utilizzano Gemini dovrebbero testare file Word, PowerPoint, Excel e OpenDocument rappresentativi, inclusi file con formule, contenuti multimediali incorporati e layout complessi. Dovrebbero confrontare le richieste di file interi e suddivisi per qualità di risposta, utilizzo e latenza, preservando al contempo i metadati del selettore nei log.
Gli operatori del gateway hanno un lavoro aggiuntivo: definire uno schema per i nuovi controlli, rifiutare percorsi tra provider non supportati e aggiornare la misurazione rivolta al cliente per mostrare quale contenuto è stato selezionato. La versione può ridurre il lavoro di conversione e l'elaborazione non necessaria, ma solo quando la nuova richiesta e la semantica di fatturazione sopravvivono a ogni livello tra l'applicazione e Gemini.