Google rozšířil možnosti Gemini API pro zpracování dokumentů o nativní podporu pro soubory Microsoft Office a OpenDocument spolu s ovládacími prvky pro výběr pouze částí souboru, které má model zpracovat.
Aplikace mohou odesílat dokumenty Word, prezentace PowerPoint, sešity Excel a soubory OpenDocument, aniž by je nejprve převedly do jiného podporovaného formátu. Mohou také cílit na stránky dokumentu, karty listu, rozsahy buněk, intervaly zvuku nebo videa a konkrétní vrstvy obsahu. Google říká, že zákazníci zpracovávají a platí pouze za vybraný obsah.
Na této kombinaci záleží více než na základní podpoře formátu souborů. Proměňuje výběr souborů na součást požadavku na odvození a jeho sémantiku účtování, což potenciálně snižuje množství irelevantního materiálu odeslaného do modelu. Vytváří také novou výzvu v oblasti kompatibility pro brány, které se snaží prezentovat konzistentní rozhraní napříč poskytovateli.
Konverze souborů již není vždy vyžadována
Aplikace pro dokumenty běžně používají služby převodu k extrahování textu, vykreslování stránek nebo normalizaci souborů před odesláním jejich obsahu do modelu. Podpora Native Office může odstranit některé z těchto kroků z kanálů založených na Gemini, zejména u pracovních postupů založených na sestavách, prezentacích a tabulkách.
To by mohlo zjednodušit systémy zpracování a zachovat více z původní struktury dokumentu. Finanční asistent by například mohl nasměrovat Gemini na konkrétní list nebo oblast buněk namísto extrahování a přenosu celého sešitu. Pracovní postup prezentace může vybrat skupinu snímků, zatímco mediální aplikace může izolovat relevantní zvukový nebo obrazový interval.
Řezání je dostupné jak v uživatelských výzvách, tak v odpovědích funkcí nesoucích soubor. To druhé je důležité pro agenty: nástroj může vrátit soubor a zároveň identifikovat část, která by měla být modelem zohledněna, spíše než nutit aplikaci, aby pro každý výsledek nástroje vytvořila samostatný odvozený soubor.
Praktické přínosy se budou lišit. Složité vzorce, vložené objekty a neobvyklá rozložení Office se nemusí chovat konzistentně napříč soubory a výzkumný balíček nezavádí univerzální token ani snížení latence. Před odstraněním stávajících fází konverze a ověření budou týmy potřebovat reprezentativní testy.
Vybraný obsah se stává hranicí fakturace
Google prohlášení, že zákazníci platí pouze za vybraný obsah, zavádí podrobnější hranici nákladů než zpracování celého souboru. Aplikace se mohou potenciálně vyhnout placení za kontrolu stovek irelevantních stránek nebo nepoužitých karet v tabulkách, pokud se úkol týká pouze úzké části.
Vývojáři by se přesto měli vyhýbat tomu, aby selektor považovali za zaručený odhad nákladů. Případný počet tokenů a doba zpracování mohou záviset na struktuře souboru, vybraném řezu a na tom, jak model tento materiál reprezentuje. Záznamy o použití by měly uchovávat jak původní odkaz na soubor, tak přesné parametry výběru, aby bylo možné náklady vysvětlit později.
To se týká zejména prodejců a softwarových platforem, které zákazníkům ukazují rozpis využití. Jejich účetní knihy možná budou muset rozlišit velikost nahraného souboru od části odeslané k závěru. Bez tohoto rozlišení by se faktura mohla jevit jako nekonzistentní s dokumentem viditelným pro uživatele nebo by bylo obtížné prošetřit spory o náklady.
OpenAI kompatibilita nepokrývá všechny selektory
Selektory stránky, listu, rozsahu buněk, intervalu média a vrstvy obsahu se nemapují úhledně na konvenční vstupní soubor kompatibilní s OpenAI.multimodelová API brána pro týmy má proto několik možností: odhalit Gemini-specifická rozšíření, přeložit přenosnou podmnožinu selektorů nebo vyžadovat, aby aplikace předzpracovaly soubory před použitím poskytovatelů, kteří nemají ekvivalentní ovládací prvky.
Tiché vyřazení nepodporovaných selektorů by bylo riskantní. Mohlo by to způsobit, že poskytovatel zpracuje celý dokument a změní jak odpověď, tak vyúčtování. Brány by měly ověřit požadavky, identifikovat nepodporované typy výběru a zaznamenat normalizovaný požadavek, který byl nakonec odeslán proti proudu.
Stejný problém se týká směrování. Dva modely mohou propagovat vstup dokumentu a zároveň podporovat podstatně odlišné typy souborů, ovládací prvky výběru a pravidla účtování. Řídicí rovina AI API pro vývojářské týmy by měla tyto schopnosti explicitně reprezentovat, místo aby se „vstup do souboru“ považoval za jednu zaměnitelnou funkci.
Co by měli vývojáři zkontrolovat
Týmy používající Gemini by měly testovat reprezentativní soubory Word, PowerPoint, Excel a OpenDocument, včetně souborů s vloženými médii a složitými vzorci. Měli by porovnávat požadavky na kvalitu odpovědí, využití a latenci celého souboru a na části a zároveň zachovat metadata selektoru v protokolech.
Operátoři bran mají další práci: definovat schéma pro nové ovládací prvky, odmítnout nepodporované trasy mezi poskytovateli a aktualizovat měření pro zákazníky, aby se ukázalo, který obsah byl vybrán. Vydání může snížit práci při převodu a zbytečné zpracování, ale pouze tehdy, když tato nová sémantika požadavků a fakturace přežije každou vrstvu mezi aplikací a Gemini.