GPT-6.1 Terra fügt eine kostengünstigere OpenAI Option für API Routing hinzu

OpenAI veröffentlichte am 26. Oktober GPT-6.1 Terra über die Responses- und Chat Completions-APIs und fügte ein günstigeres Modell hinzu, das auf Arbeitslasten ausgerichtet ist, die die Computernutzung umfassen. Der Standardsatz API beträgt 1 $ pro Million Eingabetokens, 0,05 $ pro Million zwischengespeicherter Eingabetokens und 5 $ pro Million Ausgabetokens.

Terra wird auch in ChatGPT Work und Codex eingeführt, ist jedoch nicht im Standard-ChatGPT-Erlebnis verfügbar. Diese Unterscheidung ist für Unternehmen wichtig, die den Zugang zu Kunden kommunizieren: Ein API-Eintrag, eine Produkteinführung am Arbeitsplatz und die Verfügbarkeit in der Verbraucher-Chat-Oberfläche sind separate Vertriebskanäle.

Die Einführung schafft eine neue OpenAI Routing-Option zwischen kostengünstigen Modellen zur Klassifizierung oder Extraktion und teureren Argumentationsmodellen. Außerdem stellt es Gateway-Betreiber vor ein bekanntes Betriebsproblem: Der Hauptpreis ist nur der Anfang der Integrationsarbeit.

Terras Preis hängt von der Arbeitslastform ab

Bei den veröffentlichten Tarifen kosten Ausgabe-Tokens fünfmal so viel wie normale Eingabe-Tokens. Der Preis für zwischengespeicherte Eingaben beträgt 5 % des Standardeingabesatzes. Anwendungen, die wiederholt stabile Anweisungen, Werkzeugbeschreibungen oder anderen wiederverwendbaren Kontext senden, könnten daher ein wesentlich anderes Kostenprofil aufweisen als Anwendungen, die große Antworten generieren oder ihre Eingabeaufforderungen ständig ändern.

Dies ist besonders relevant für Computernutzer. Solche Systeme können mehrere Beobachtungs-, Argumentations- und Aktionszyklen durchlaufen, bevor sie eine Aufgabe abschließen. Selbst wenn der Eingabepreis des Modells niedrig ist, können ausführliche Ausgaben oder lange Werkzeugschleifen die Gesamtrechnung in die Höhe treiben. Der angekündigte Tarif von OpenAI sollte daher anhand der Gesamtkosten der Aufgabe bewertet werden, nicht nur am Preis der ersten Anfrage.

Teams, die unified AI API billing verwenden, benötigen eine separate Abrechnung für normale Eingaben, zwischengespeicherte Eingaben und Ausgaben. Die Zusammenfassung dieser Kategorien zu einer einzigen Token-Zahl würde sowohl die Kundengebühren als auch die Gateway-Margen verschleiern. Bei Auswertungen sollten Token und Kosten während der gesamten Agentenausführung erfasst werden, einschließlich fehlgeschlagener Schritte und Wiederholungsversuche.

Gateways benötigen Metadaten-, Richtlinien- und Kompatibilitätsaktualisierungen

Das Hinzufügen von Terra zu einem Multimodell-APIGateway für Teams erfordert mehr als die Registrierung seiner Modell-ID. Katalogdatensätze benötigen die drei Token-Raten, unterstützte API-Oberflächen, Fähigkeitsmetadaten und regionale Einschränkungen. Routing-Systeme müssen auch unterscheiden, ob eine Arbeitslast von der sofortigen Zwischenspeicherung profitiert und ob sie wahrscheinlich genügend Ausgabe- oder Tool-Iterationen produziert, um den offensichtlichen Eingabepreisvorteil zunichte zu machen.

OpenAI besagt, dass die Inferenzresidenz in den VAE für dieses Modell nicht unterstützt wird. Ein Gateway, das eine regionale Abwicklung verspricht, kann Terra nicht als austauschbaren Ersatz für ein anderes OpenAI-Modell betrachten, wenn ein Mieter einen Wohnsitz in den VAE benötigt. Die Einschränkung sollte in der Modellerkennung sichtbar sein, in der Routing-Richtlinie durchgesetzt und in Anforderungsprotokollen gespeichert werden, damit Betreiber erklären können, warum eine Anforderung blockiert oder an eine andere Stelle gesendet wurde.

Wiederverkäufer stehen vor einem zusätzlichen Kommunikationsproblem. Eine AI API Reseller-Plattform sollte nicht bedeuten, dass das ChatGPT Abonnement eines Kunden Zugang zu Terra API beinhaltet, oder dass API Verfügbarkeit bedeutet, dass das Modell im Standard ChatGPT ausgewählt werden kann. Produktkataloge und kundenorientierte Nutzungsberichte sollten den Zugriffskanal und das effektive Modell separat angeben.

Für Model Gate und ähnliche OpenAI-kompatible Dienste umfasst die praktische Release-Checkliste das Hinzufügen des Modells, das Anwenden von Cache-bewussten Preisen, das Offenlegen der Residenzbeschränkung und das Testen des Verhaltens bei Antworten und Chat-Abschlüssen. Die Margin-Regeln müssen möglicherweise auch überarbeitet werden, wenn zwischengespeicherte Token auf Kosten des Anbieters weitergeleitet werden, während normale Ein- und Ausgaben unterschiedliche Markups aufweisen.

Leistungsansprüche müssen noch unabhängig getestet werden

OpenAI hat über Leistungs-, Geschwindigkeits- und Halluzinationsverbesserungen für Terra berichtet, aber diese Behauptungen wurden nicht alle unabhängig reproduziert. Der richtige Vergleich hängt auch von der Arbeitsbelastung ab. Ein Modell, das für kurze strukturierte Antworten wirtschaftlich ist, ist möglicherweise weniger attraktiv für einen Agenten, der ausführliche Argumente ausgibt, Aktionen wiederholt oder lange Computersitzungen durchführt.

Entwickler sollten Terra mit repräsentativen Eingabeaufforderungen, Tools und Abschlussgrenzen vergleichen, anstatt Ergebnisse aus herkömmlichen Chat-Tests zu übertragen. Zu den nützlichen Messungen gehören die Abschlussrate der Aufgabe, die End-to-End-Latenz, die Häufigkeit von Cache-Treffer, das Ausgabevolumen, die Anzahl der Tool-Zyklen und die Gesamtkosten pro erfolgreicher Aufgabe.

Die unmittelbare Bedeutung von Terra besteht daher nicht darin, dass es allgemein günstiger ist. Es gibt API Käufern eine weitere OpenAI Preisspanne und bietet Routing-Systemen eine weitere Reihe von Kompromissen, die es zu modellieren gilt. Ob dadurch die Produktionskosten gesenkt werden, hängt vom Caching-Verhalten, der Antwortlänge, der Agent-Loop-Effizienz und den regionalen Richtlinien ab, die jeder Anfrage zugeordnet sind.