Google rozszerzyło możliwości przetwarzania dokumentów Gemini API o natywną obsługę plików Microsoft Office i OpenDocument, a także elementy sterujące umożliwiające wybieranie tylko tych części pliku, które model powinien przetworzyć.

Aplikacje mogą przesyłać dokumenty Word, prezentacje PowerPoint, skoroszyty Excel i pliki OpenDocument bez uprzedniej konwersji ich na inny obsługiwany format. Mogą także kierować reklamy na strony dokumentów, karty arkuszy kalkulacyjnych, zakresy komórek, interwały audio lub wideo oraz określone warstwy treści. Google mówi, że klienci przetwarzają i płacą tylko za wybraną treść.

Kombinacja ma większe znaczenie niż podstawowa obsługa formatu pliku. Zamienia wybór pliku w część żądania wnioskowania i jego semantykę rozliczeniową, potencjalnie zmniejszając ilość nieistotnych materiałów wysyłanych do modelu. Stwarza to także nowe wyzwanie dotyczące zgodności dla bram, które starają się zapewnić spójny interfejs u różnych dostawców.

Konwersja plików nie jest już zawsze wymagana

Aplikacje do obsługi dokumentów często korzystają z usług konwersji w celu wyodrębniania tekstu, renderowania stron lub normalizowania plików przed wysłaniem ich zawartości do modelu. Natywna obsługa pakietu Office może usunąć niektóre z tych kroków z potoków opartych na Gemini, szczególnie w przypadku przepływów pracy zbudowanych wokół raportów, prezentacji i arkuszy kalkulacyjnych.

Mogłoby to uprościć systemy przetwarzania i zachować więcej oryginalnej struktury dokumentu. Na przykład asystent finansowy może skierować Gemini do określonego arkusza lub zakresu komórek, zamiast wyodrębniać i przesyłać cały skoroszyt. W procesie prezentacji można wybrać grupę slajdów, a aplikacja multimedialna może wyizolować odpowiedni interwał audio lub wideo.

Wycinanie na plasterki jest dostępne zarówno w monitach użytkownika, jak i w odpowiedziach funkcji przenoszenia plików. To drugie jest istotne dla agentów: narzędzie może zwrócić plik, identyfikując część, którą powinien uwzględnić model, zamiast zmuszać aplikację do tworzenia osobnego pliku pochodnego dla każdego wyniku narzędzia.

Praktyczne korzyści będą się różnić. Złożone formuły, osadzone obiekty i nietypowe układy pakietu Office mogą nie działać spójnie w różnych plikach, a pakiet badawczy nie zapewnia uniwersalnych redukcji tokenów ani opóźnień. Zespoły będą potrzebować reprezentatywnych testów przed usunięciem istniejących etapów konwersji i walidacji.

Wybrana treść staje się granicą rozliczeniową

Google Stwierdzenie, że klienci płacą tylko za wybraną treść, wprowadza bardziej szczegółową granicę kosztów niż przetwarzanie całego pliku. Aplikacje mogą potencjalnie uniknąć płacenia za sprawdzenie setek nieistotnych stron lub nieużywanych kart arkuszy kalkulacyjnych, gdy zadanie dotyczy tylko wąskiej sekcji.

Programiści powinni nadal unikać traktowania selektora jako gwarantowanego oszacowania kosztów. Ostateczna liczba tokenów i czas przetwarzania mogą zależeć od struktury pliku, wybranego wycinka i sposobu, w jaki model reprezentuje ten materiał. W zapisach użycia należy zachować zarówno oryginalne odniesienie do pliku, jak i dokładne parametry wyboru, aby można było później wyjaśnić koszty.

Jest to szczególnie istotne w przypadku sprzedawców i platform oprogramowania, które pokazują klientom zestawienie wykorzystania. W ich księgach może być konieczne rozróżnienie rozmiaru przesłanego pliku od części przekazanej do wyciągnięcia wniosków. Bez tego rozróżnienia faktura mogłaby wydawać się niespójna z dokumentem widocznym dla użytkownika lub utrudniać rozpatrywanie sporów dotyczących kosztów.

OpenAI zgodność nie obejmuje każdego selektora

Selektory strony, arkusza, zakresu komórek, interwału multimediów i warstwy treści nie są dokładnie mapowane na konwencjonalne, zgodne z OpenAI pliki wejściowe.Dlatego wielomodelowa API brama dla zespołów ma kilka możliwości: udostępnienie Gemini-specyficznych rozszerzeń, przetłumaczenie przenośnego podzbioru selektorów lub wymaganie od aplikacji wstępnego przetworzenia plików przed użyciem dostawców pozbawionych równoważnych elementów sterujących.

Ciche odrzucanie nieobsługiwanych selektorów byłoby ryzykowne. Może to spowodować, że usługodawca przetworzy cały dokument, zmieniając zarówno odpowiedź, jak i rachunek. Bramy powinny weryfikować żądania, identyfikować nieobsługiwane typy wyboru i rejestrować znormalizowane żądanie, które ostatecznie zostało wysłane w górę łańcucha dostaw.

Ten sam problem dotyczy routingu. Obydwa modele mogą reklamować wprowadzanie dokumentów, obsługując jednocześnie zasadniczo różne typy plików, kontrolę wyboru i zasady rozliczeń. Płaszczyzna kontroli AI API dla zespołów programistów powinna jawnie reprezentować te możliwości, zamiast traktować „wprowadzanie plików” jako pojedynczą wymienną funkcję.

Co powinni sprawdzić programiści

Zespoły korzystające z Gemini powinny testować reprezentatywne pliki programów Word, PowerPoint, Excel i OpenDocument, w tym pliki z formułami, osadzonymi multimediami i złożonymi układami. Powinni porównywać żądania przesyłane w całości i w kawałkach pod kątem jakości odpowiedzi, wykorzystania i opóźnienia, zachowując jednocześnie metadane selektora w dziennikach.

Operatorzy bram mają dodatkową pracę: zdefiniuj schemat nowych elementów sterujących, odrzuć nieobsługiwane trasy między dostawcami i zaktualizuj pomiary skierowane do klienta, aby pokazać, która treść została wybrana. Ta wersja może zmniejszyć liczbę konwersji i niepotrzebnego przetwarzania, ale tylko wtedy, gdy nowe żądania i semantyka rozliczeń przetrwają każdą warstwę między aplikacją a Gemini.