Google расширил возможности обработки документов Gemini API за счет встроенной поддержки файлов Microsoft Office и OpenDocument, а также элементов управления для выбора только тех частей файла, которые должна обрабатывать модель.
Приложения могут отправлять документы Word, презентации PowerPoint, книги Excel и файлы OpenDocument без предварительного преобразования их в другой поддерживаемый формат. Они также могут ориентироваться на страницы документов, вкладки листов, диапазоны ячеек, интервалы аудио или видео и определенные слои контента. Google говорит, что клиенты обрабатывают и платят только за выбранный контент.
Это сочетание имеет большее значение, чем базовая поддержка форматов файлов. Он превращает выбор файла в часть запроса на вывод и его семантику выставления счетов, потенциально уменьшая количество ненужного материала, отправляемого в модель. Это также создает новую проблему совместимости для шлюзов, которые пытаются предоставить согласованный интерфейс между поставщиками.
Преобразование файлов больше не требуется всегда
Приложения для работы с документами обычно используют службы преобразования для извлечения текста, рендеринга страниц или нормализации файлов перед отправкой их содержимого в модель. Встроенная поддержка Office может исключить некоторые из этих шагов из конвейеров на основе Gemini, особенно для рабочих процессов, построенных на основе отчетов, презентаций и электронных таблиц.
Это может упростить системы приема и сохранить большую часть исходной структуры документа. Например, финансовый помощник может направить Gemini на конкретный лист или диапазон ячеек вместо извлечения и передачи всей книги. Рабочий процесс презентации может выбрать группу слайдов, а мультимедийное приложение может изолировать соответствующий аудио- или видеоинтервал.
Нарезка доступна как в подсказках пользователя, так и в ответах функций, содержащих файлы. Последнее важно для агентов: инструмент может возвращать файл, определяя ту часть, которая должна учитываться моделью, вместо того, чтобы заставлять приложение создавать отдельный производный файл для каждого результата инструмента.
Практическая выгода будет разной. Сложные формулы, внедренные объекты и необычные макеты Office могут работать неравномерно в разных файлах, а пакет исследований не устанавливает универсальных токенов или сокращений задержек. Прежде чем удалять существующие этапы преобразования и проверки, командам потребуются репрезентативные тесты.
Выбранный контент становится границей выставления счетов
Google Заявление о том, что клиенты платят только за выбранный контент, вводит более детальную границу затрат, чем обработка всего файла. Приложения потенциально могут избежать оплаты за проверку сотен ненужных страниц или неиспользуемых вкладок электронных таблиц, если задача касается только узкого раздела.
Разработчикам по-прежнему следует избегать рассмотрения селектора как гарантированной оценки затрат. Итоговое количество токенов и время обработки могут зависеть от структуры файла, выбранного фрагмента и того, как модель представляет этот материал. Записи об использовании должны сохранять как исходную ссылку на файл, так и точные параметры выбора, чтобы позже можно было объяснить затраты.
Это особенно актуально для реселлеров и программных платформ, которые показывают клиентам разбивку по использованию. В их реестрах, возможно, потребуется отличать размер загруженного файла от части, представленной для вывода. Без этого различия счет может выглядеть несоответствующим документу, видимому пользователю, или затруднить расследование споров о стоимости.
OpenAI Совместимость не распространяется на все селекторы
Селекторы страниц, листов, диапазонов ячеек, медиа-интервалов и слоев контента не сопоставляются аккуратно с обычным OpenAI-совместимым входным файлом.Таким образом, у мультимодельного API шлюза для команд есть несколько вариантов: предоставить расширения, специфичные для Gemini, преобразовать переносимое подмножество селекторов или потребовать от приложений предварительной обработки файлов перед использованием поставщиков, у которых отсутствуют эквивалентные элементы управления.
Отбрасывание неподдерживаемых селекторов без уведомления было бы рискованным. Это может привести к тому, что провайдер обработает весь документ, изменив и ответ, и счет. Шлюзы должны проверять запросы, идентифицировать неподдерживаемые типы выбора и записывать нормализованный запрос, который в конечном итоге был отправлен в восходящий поток.
Та же проблема касается маршрутизации. Обе модели могут рекламировать ввод документов, поддерживая при этом существенно разные типы файлов, элементы управления выбором и правила выставления счетов. Плоскость управления ИИ API для команд разработчиков должна представлять эти возможности явно, а не рассматривать «ввод файла» как единую взаимозаменяемую функцию.
Что следует проверять разработчикам
Команды, использующие Gemini, должны тестировать репрезентативные файлы Word, PowerPoint, Excel и OpenDocument, включая файлы с формулами, встроенными медиафайлами и сложными макетами. Им следует сравнивать запросы целиком и по частям на предмет качества ответа, использования и задержки, сохраняя при этом метаданные селектора в журналах.
Операторам шлюза предстоит дополнительная работа: определить схему для новых элементов управления, отклонить неподдерживаемые маршруты между поставщиками и обновить показатели, ориентированные на клиента, чтобы показать, какой контент был выбран. Этот выпуск может сократить работу по преобразованию и ненужную обработку, но только в том случае, если эти новые запросы и семантика выставления счетов сохранятся на всех уровнях между приложением и Gemini.
.