Google je razširil zmožnosti Gemini API za obdelavo dokumentov z izvorno podporo za datoteke Microsoft Office in OpenDocument, poleg kontrolnikov za izbiro samo delov datoteke, ki naj jih model obdela.
Aplikacije lahko predložijo Wordove dokumente, PowerPointove predstavitve, Excelove delovne zvezke in datoteke OpenDocument, ne da bi jih prej pretvorile v drugo podprto obliko. Ciljajo lahko tudi na strani dokumentov, zavihke delovnih listov, obsege celic, avdio ali video intervale in specifične plasti vsebine. Google pravi, da stranke obdelajo in plačajo samo izbrano vsebino.
Kombinacija je pomembnejša od osnovne podpore za format datoteke. Izbiro datoteke spremeni v del zahteve za sklepanje in njene semantike zaračunavanja, kar lahko zmanjša količino nepomembnega materiala, poslanega modelu. Prav tako ustvarja nov izziv združljivosti za prehode, ki poskušajo predstaviti dosleden vmesnik med ponudniki.
Pretvorba datotek ni več vedno potrebna
Aplikacije za dokumente običajno uporabljajo storitve pretvorbe za ekstrahiranje besedila, upodabljanje strani ali normalizacijo datotek, preden pošljejo njihovo vsebino modelu. Podpora za izvorni Office lahko odstrani nekatere od teh korakov iz cevovodov, ki temeljijo na Gemini, zlasti za poteke dela, zgrajene okoli poročil, predstavitev in preglednic.
To bi lahko poenostavilo sisteme za vnos in ohranilo več izvirne strukture dokumenta. Finančni pomočnik bi lahko na primer usmeril Gemini na določen delovni list ali obseg celic, namesto da ekstrahira in posreduje celoten delovni zvezek. Delovni tok predstavitve bi lahko izbral skupino diapozitivov, medijska aplikacija pa bi lahko izolirala ustrezen zvočni ali video interval.
Razrezovanje je na voljo tako v uporabniških pozivih kot v odzivih funkcij, ki prenašajo datoteke. Slednje je pomembno za agente: orodje lahko vrne datoteko, medtem ko identificira del, ki bi ga moral upoštevati model, namesto da bi prisililo aplikacijo, da ustvari ločeno izpeljano datoteko za vsak rezultat orodja.
Praktični dobički bodo različni. Zapletene formule, vdelani predmeti in nenavadne postavitve sistema Office se morda ne bodo dosledno obnašale med datotekami, raziskovalni paket pa ne vzpostavi univerzalnega žetona ali zmanjšanja zakasnitve. Ekipe bodo potrebovale reprezentativne preizkuse, preden bodo odstranile obstoječe stopnje pretvorbe in preverjanja.
Izbrana vsebina postane meja obračunavanja
Google izjava, da stranke plačajo samo za izbrano vsebino, uvaja bolj natančno mejo stroškov kot obdelava celotne datoteke. Aplikacije se lahko potencialno izognejo plačilu za pregledovanje na stotine nepomembnih strani ali neuporabljenih zavihkov preglednice, ko opravilo zadeva le ozek odsek.
Razvijalci naj se vseeno izogibajo obravnavanju izbirnika kot zajamčene ocene stroškov. Končno število žetonov in čas obdelave sta lahko odvisna od strukture datoteke, izbrane rezine in tega, kako model predstavlja ta material. Zapisi o uporabi morajo ohraniti izvirno referenco datoteke in natančne izbirne parametre, tako da je stroške mogoče pojasniti pozneje.
To je še posebej pomembno za preprodajalce in programske platforme, ki strankam prikazujejo razčlenitev uporabe. Njihove poslovne knjige bodo morda morale razlikovati med velikostjo naložene datoteke in deležem, predloženim v sklepanje. Brez tega razlikovanja se lahko račun zdi neskladen z uporabnikom vidnim dokumentom ali oteži preiskavo stroškovnih sporov.
OpenAI združljivost ne zajema vseh izbirnikov
Izbirniki strani, delovnega lista, obsega celic, medijskega intervala in sloja vsebine se ne preslikajo lepo na običajen OpenAI-združljiv vnos datoteke.Večmodelni API prehod za ekipe ima zato več možnosti: razkriti Geminispecifične razširitve, prevesti prenosno podmnožico izbirnikov ali zahtevati, da aplikacije predhodno obdelajo datoteke, preden uporabijo ponudnike, ki nimajo enakovrednih kontrol.
Tiho zavračanje nepodprtih izbirnikov bi bilo tvegano. Lahko povzroči, da ponudnik obdela celoten dokument in spremeni tako odgovor kot račun. Prehodi bi morali potrditi zahteve, identificirati nepodprte vrste izbire in zabeležiti normalizirano zahtevo, ki je bila nazadnje poslana navzgor.
Ista težava vpliva na usmerjanje. Oba modela lahko oglašujeta vnos dokumenta, hkrati pa podpirata bistveno različne vrste datotek, izbirne kontrole in pravila zaračunavanja. Nadzorna ravnina AI API za skupine razvijalcev bi morala izrecno predstavljati te zmožnosti, namesto da bi »vnos datoteke« obravnavala kot eno samo zamenljivo funkcijo.
Kaj morajo razvijalci preveriti
Ekipe, ki uporabljajo Gemini, morajo testirati reprezentativne datoteke Word, PowerPoint, Excel in OpenDocument, vključno z datotekami s formulami, vdelanimi mediji in kompleksne postavitve. Primerjati morajo zahteve celotne datoteke in razrezane zahteve glede kakovosti odgovora, uporabe in zakasnitve, pri tem pa ohraniti metapodatke izbirnika v dnevnikih.
Upravljavci prehodov imajo dodatno delo: določijo shemo za nove kontrole, zavrnejo nepodprte poti med ponudniki in posodobijo merjenje, obrnjeno k strankam, da prikažejo, katera vsebina je bila izbrana. Izdaja lahko zmanjša delo pri pretvorbi in nepotrebno obdelavo, vendar le, če te nove zahteve in semantika zaračunavanja preživijo vsako plast med aplikacijo in Gemini.