Google hat die Dokumentverarbeitungsfunktionen von Gemini API um native Unterstützung für Microsoft Office- und OpenDocument-Dateien sowie Steuerelemente zum Auswählen nur der Teile einer Datei erweitert, die ein Modell verarbeiten soll.

Anwendungen können Word-Dokumente, PowerPoint-Präsentationen, Excel-Arbeitsmappen und OpenDocument-Dateien übermitteln, ohne sie zuerst in ein anderes unterstütztes Format zu konvertieren. Sie können auch auf Dokumentseiten, Arbeitsblattregisterkarten, Zellbereiche, Audio- oder Videointervalle und bestimmte Inhaltsebenen abzielen. Google besagt, dass Kunden nur die ausgewählten Inhalte verarbeiten und bezahlen.

Die Kombination ist wichtiger als die grundlegende Unterstützung des Dateiformats. Dadurch wird die Dateiauswahl zu einem Teil der Inferenzanforderung und ihrer Abrechnungssemantik, wodurch möglicherweise die Menge an irrelevantem Material reduziert wird, das an ein Modell gesendet wird. Dies stellt auch eine neue Kompatibilitätsherausforderung für Gateways dar, die versuchen, eine konsistente Schnittstelle über alle Anbieter hinweg bereitzustellen.

Dateikonvertierung ist nicht mehr immer erforderlich

Dokumentanwendungen verwenden häufig Konvertierungsdienste, um Text zu extrahieren, Seiten zu rendern oder Dateien zu normalisieren, bevor sie ihre Inhalte an ein Modell senden. Durch die native Office-Unterstützung können einige dieser Schritte aus Gemini-basierten Pipelines entfernt werden, insbesondere für Workflows, die auf Berichten, Präsentationen und Tabellenkalkulationen basieren.

Das könnte Aufnahmesysteme vereinfachen und mehr von der ursprünglichen Struktur eines Dokuments bewahren. Ein Finanzassistent könnte beispielsweise Gemini zu einem bestimmten Arbeitsblatt oder Zellbereich weiterleiten, anstatt eine ganze Arbeitsmappe zu extrahieren und zu übertragen. Ein Präsentationsworkflow könnte eine Gruppe von Folien auswählen, während eine Medienanwendung ein relevantes Audio- oder Videointervall isolieren könnte.

Slicing ist sowohl in Benutzeraufforderungen als auch in dateitragenden Funktionsantworten verfügbar. Letzteres ist für Agenten von Bedeutung: Ein Tool kann eine Datei zurückgeben und gleichzeitig den Teil identifizieren, der vom Modell berücksichtigt werden soll, anstatt die Anwendung zu zwingen, für jedes Tool-Ergebnis eine separate abgeleitete Datei zu erstellen.

Die praktischen Vorteile werden unterschiedlich sein. Komplexe Formeln, eingebettete Objekte und ungewöhnliche Office-Layouts verhalten sich möglicherweise nicht dateiübergreifend konsistent, und das Forschungspaket sieht keine universellen Token oder Latenzreduzierungen vor. Teams benötigen repräsentative Tests, bevor bestehende Konvertierungs- und Validierungsphasen entfernt werden.

Ausgewählte Inhalte werden zu einer Abrechnungsgrenze

Googles Aussage, dass Kunden nur für ausgewählte Inhalte zahlen, führt zu einer detaillierteren Kostengrenze als bei der Verarbeitung ganzer Dateien. Anwendungen können potenziell die Kosten für die Überprüfung Hunderter irrelevanter Seiten oder ungenutzter Tabellenregisterkarten vermeiden, wenn eine Aufgabe nur einen schmalen Abschnitt betrifft.

Entwickler sollten dennoch vermeiden, einen Selektor als garantierte Kostenschätzung zu behandeln. Die letztendliche Anzahl der Token und die Verarbeitungszeit können von der Dateistruktur, dem ausgewählten Slice und der Art und Weise abhängen, wie das Modell dieses Material darstellt. Nutzungsdatensätze sollten sowohl die ursprüngliche Dateireferenz als auch die genauen Auswahlparameter enthalten, damit die Kosten später erläutert werden können.

Dies ist besonders relevant für Wiederverkäufer und Softwareplattformen, die Kunden eine Nutzungsaufschlüsselung anzeigen. Ihre Hauptbücher müssen möglicherweise die Größe einer hochgeladenen Datei von dem Teil unterscheiden, der zur Schlussfolgerung übermittelt wurde. Ohne diese Unterscheidung könnte eine Rechnung inkonsistent mit dem für den Benutzer sichtbaren Dokument erscheinen oder die Untersuchung von Kostenstreitigkeiten erschweren.

OpenAI Die Kompatibilität deckt nicht alle Selektoren ab.

Seiten-, Arbeitsblatt-, Zellbereichs-, Medienintervall- und Inhaltsebenenselektoren lassen sich nicht sauber auf eine herkömmliche OpenAI-kompatible Dateieingabe abbilden.Ein Gateway mit mehreren Modellen API für Teams hat daher mehrere Möglichkeiten: Gemini-spezifische Erweiterungen verfügbar zu machen, eine portable Teilmenge von Selektoren zu übersetzen oder von Anwendungen eine Vorverarbeitung von Dateien zu verlangen, bevor Anbieter verwendet werden, denen entsprechende Kontrollen fehlen.

Nicht unterstützte Selektoren stillschweigend zu verwerfen wäre riskant. Dies könnte dazu führen, dass ein Anbieter ein gesamtes Dokument verarbeitet und so sowohl die Antwort als auch die Rechnung ändert. Gateways sollten Anfragen validieren, nicht unterstützte Auswahltypen identifizieren und die normalisierte Anfrage aufzeichnen, die letztendlich stromaufwärts gesendet wurde.

Das gleiche Problem betrifft das Routing. Zwei Modelle können beide die Dokumenteingabe ankündigen und gleichzeitig wesentlich unterschiedliche Dateitypen, Auswahlkontrollen und Abrechnungsregeln unterstützen. Eine KI API-Steuerungsebene für Entwicklerteams sollte diese Funktionen explizit darstellen, anstatt „Dateieingabe“ als einzelne austauschbare Funktion zu behandeln.

Was Entwickler überprüfen sollten

Teams, die Gemini verwenden, sollten repräsentative Word-, PowerPoint-, Excel- und OpenDocument-Dateien testen, einschließlich Dateien mit Formeln, eingebetteten Medien und komplexen Layouts. Sie sollten Gesamtdatei- und Slice-Anfragen auf Antwortqualität, Nutzung und Latenz vergleichen und dabei Selektor-Metadaten in Protokollen beibehalten.

Gateway-Betreiber haben zusätzliche Arbeit: Definieren Sie ein Schema für die neuen Kontrollen, lehnen Sie nicht unterstützte anbieterübergreifende Routen ab und aktualisieren Sie die kundenorientierte Messung, um anzuzeigen, welche Inhalte ausgewählt wurden. Die Veröffentlichung kann den Konvertierungsaufwand und unnötige Verarbeitung reduzieren, aber nur, wenn diese neue Anforderungs- und Abrechnungssemantik jede Ebene zwischen der Anwendung und Gemini überdauert.