Google rozšírila možnosti Gemini API na spracovanie dokumentov o natívnu podporu pre súbory Microsoft Office a OpenDocument spolu s ovládacími prvkami na výber iba častí súboru, ktoré má model spracovať.

Aplikácie môžu odosielať dokumenty programu Word, prezentácie programu PowerPoint, zošity programu Excel a súbory OpenDocument bez toho, aby ich najprv konvertovali do iného podporovaného formátu. Môžu tiež zacieliť na strany dokumentu, karty pracovného hárka, rozsahy buniek, intervaly zvuku alebo videa a špecifické vrstvy obsahu. Google hovorí, že zákazníci spracovávajú a platia iba za vybratý obsah.

Na kombinácii záleží viac ako na základnej podpore formátu súborov. Premení výber súboru na súčasť požiadavky na odvodenie a jej účtovacej sémantiky, čím sa potenciálne zníži množstvo irelevantného materiálu odoslaného do modelu. Vytvára tiež novú výzvu v oblasti kompatibility pre brány, ktoré sa snažia prezentovať konzistentné rozhranie naprieč poskytovateľmi.

Konverzia súborov už nie je vždy potrebná

Aplikácie dokumentov bežne používajú služby konverzie na extrakciu textu, vykreslenie stránok alebo normalizáciu súborov pred odoslaním ich obsahu do modelu. Podpora Native Office môže odstrániť niektoré z týchto krokov z kanálov založených na Gemini, najmä pokiaľ ide o pracovné postupy založené na zostavách, prezentáciách a tabuľkách.

To by mohlo zjednodušiť systémy prijímania a zachovať viac z pôvodnej štruktúry dokumentu. Finančný asistent by napríklad mohol nasmerovať Gemini na konkrétny pracovný hárok alebo rozsah buniek namiesto extrahovania a prenosu celého zošita. Pracovný postup prezentácie môže vybrať skupinu snímok, zatiaľ čo mediálna aplikácia môže izolovať relevantný zvukový alebo obrazový interval.

Rozdelenie je dostupné v používateľských výzvach aj v odpovediach funkcie nesúcej súbor. To druhé je dôležité pre agentov: nástroj môže vrátiť súbor, pričom identifikuje časť, ktorú by mal model zvážiť, namiesto toho, aby nútil aplikáciu vytvoriť samostatný odvodený súbor pre každý výsledok nástroja.

Praktické výhody sa budú líšiť. Zložité vzorce, vložené objekty a nezvyčajné rozloženia balíka Office sa nemusia správať konzistentne medzi súbormi a výskumný balík nestanovuje univerzálny token ani zníženie latencie. Pred odstránením existujúcich fáz konverzie a overenia budú tímy potrebovať reprezentatívne testy.

Vybraný obsah sa stáva hranicou fakturácie

Google vyhlásenie, že zákazníci platia iba za vybratý obsah, predstavuje podrobnejšiu hranicu nákladov než spracovanie celého súboru. Aplikácie sa môžu potenciálne vyhnúť plateniu za kontrolu stoviek irelevantných stránok alebo nepoužitých kariet v tabuľke, keď sa úloha týka iba úzkej sekcie.

Vývojári by sa aj tak mali vyhýbať tomu, aby selektor považovali za zaručený odhad ceny. Prípadný počet tokenov a čas spracovania môžu závisieť od štruktúry súboru, vybranej časti a toho, ako model reprezentuje daný materiál. Záznamy o používaní by mali uchovávať pôvodnú referenciu na súbor aj presné parametre výberu, aby bolo možné náklady vysvetliť neskôr.

Toto je obzvlášť dôležité pre predajcov a softvérové ​​platformy, ktoré zákazníkom zobrazujú rozpis používania. Ich účtovné knihy možno budú musieť rozlíšiť veľkosť nahraného súboru od časti predloženej na odvodenie. Bez tohto rozlíšenia by sa faktúra mohla javiť ako nekonzistentná s dokumentom viditeľným pre používateľa alebo by sa spory o náklady mohli len ťažko vyšetriť.

OpenAI kompatibilita nepokrýva všetky selektory

Selektory stránky, pracovného hárka, rozsahu buniek, mediálneho intervalu a vrstvy obsahu sa nemapujú úhľadne na konvenčný vstupný súbor kompatibilný s OpenAI.multimodelová API brána pre tímy má preto niekoľko možností: odhaliť rozšírenia špecifické pre Gemini, preložiť prenosnú podmnožinu selektorov alebo vyžadovať, aby aplikácie predbežne spracovali súbory pred použitím poskytovateľov, ktorí nemajú ekvivalentné ovládacie prvky.

Tiché vyradenie nepodporovaných selektorov by bolo riskantné. Mohlo by to spôsobiť, že poskytovateľ spracuje celý dokument a zmení odpoveď aj faktúru. Brány by mali overiť požiadavky, identifikovať nepodporované typy výberu a zaznamenať normalizovanú požiadavku, ktorá bola nakoniec odoslaná proti prúdu.

Rovnaký problém ovplyvňuje smerovanie. Dva modely môžu propagovať vstup dokumentu a zároveň podporovať podstatne odlišné typy súborov, ovládacie prvky výberu a pravidlá účtovania. Riadiaca rovina AI API pre vývojárske tímy by mala tieto schopnosti explicitne reprezentovať namiesto toho, aby sa so „vstupom do súboru“ zaobchádzalo ako s jednou vymeniteľnou funkciou.

Čo by mali vývojári skontrolovať

Tímy používajúce Gemini by mali testovať reprezentatívne vložené súbory Word, PowerPoint, Excel a OpenDocument, vrátane súborov s médiami a zložitými vzorcami, vložené súbory Mali by porovnávať celý súbor a rozdelené požiadavky na kvalitu odpovedí, využitie a latenciu a zároveň zachovať metadáta selektora v denníkoch.

Operátori brán majú ďalšiu prácu: definujú schému pre nové ovládacie prvky, odmietnu nepodporované trasy medzi poskytovateľmi a aktualizujú meranie pre zákazníkov, aby ukázali, ktorý obsah bol vybratý. Vydanie môže znížiť prácu pri konverzii a zbytočné spracovanie, ale iba vtedy, keď tieto nové požiadavky a sémantika fakturácie prežijú každú vrstvu medzi aplikáciou a Gemini.