OpenAI a lancé GPT-6.1 Terra via les API Responses et Chat Completions le 26 octobre, en ajoutant un modèle moins cher destiné aux charges de travail incluant l'utilisation d'un ordinateur. Le tarif standard API est de 1 $ par million de jetons d'entrée, de 0,05 $ par million de jetons d'entrée en cache et de 5 $ par million de jetons de sortie.
Terra est également déployé dans ChatGPT Work et Codex, mais il n'est pas disponible dans l'expérience ChatGPT standard. Cette distinction est importante pour les entreprises qui communiquent l'accès aux clients : une fiche API, le déploiement d'un produit sur le lieu de travail et la disponibilité dans l'interface de chat grand public sont des canaux de distribution distincts.
Le lancement crée une nouvelle OpenAI option de routage entre les modèles peu coûteux utilisés pour la classification ou l'extraction et les modèles de raisonnement plus coûteux. Cela pose également aux opérateurs de passerelles un problème opérationnel familier : le prix global n'est que le début du travail d'intégration.
Le prix de Terra dépend de la forme de la charge de travail
Aux tarifs publiés, les jetons de sortie coûtent cinq fois plus cher que les jetons d'entrée ordinaires. L’entrée mise en cache coûte 5 % du tarif d’entrée standard. Les applications qui envoient de manière répétée des instructions stables, des descriptions d'outils ou d'autres contextes réutilisables pourraient donc voir un profil de coût sensiblement différent de celui des applications qui génèrent des réponses volumineuses ou modifient continuellement leurs invites.
Ceci est particulièrement pertinent pour les agents utilisant un ordinateur. De tels systèmes peuvent parcourir plusieurs cycles d’observation, de raisonnement et d’action avant d’accomplir une tâche. Même lorsque le prix des intrants du modèle est faible, des sorties verbeuses ou de longues boucles d’outils peuvent augmenter la facture totale. Le tarif annoncé par OpenAI doit donc être évalué par rapport au coût complet de la tâche, et pas seulement au prix de la première demande.
Les équipes utilisant l'IA unifiée API facturation auront besoin d'une comptabilité distincte pour les entrées ordinaires, les entrées et les sorties mises en cache. Réduire ces catégories en un chiffre symbolique combiné obscurcirait à la fois les frais facturés aux clients et les marges des passerelles. Les évaluations doivent enregistrer les jetons et les coûts tout au long de l'exécution complète de l'agent, y compris les étapes et les tentatives ayant échoué.
Les passerelles ont besoin de mises à jour de métadonnées, de politiques et de compatibilité
L'ajout de Terra à une passerelle multimodèle API pour les équipes nécessite plus que l'enregistrement de son ID de modèle. Les enregistrements du catalogue nécessitent les trois taux de jetons, les API surfaces prises en charge, les métadonnées de capacité et les restrictions régionales. Les systèmes de routage doivent également distinguer si une charge de travail bénéficie d'une mise en cache rapide et si elle est susceptible de produire suffisamment de résultats ou d'itérations d'outils pour effacer l'avantage apparent en termes de prix des intrants.
OpenAI indique que la résidence d'inférence aux EAU n'est pas prise en charge pour ce modèle. Une passerelle qui promet une gestion régionale ne peut pas traiter Terra comme un substitut interchangeable à un autre modèle OpenAI lorsqu'un locataire nécessite la résidence aux Émirats arabes unis. La restriction doit être visible dans la découverte de modèles, appliquée dans la politique de routage et conservée dans les journaux de requêtes afin que les opérateurs puissent expliquer pourquoi une requête a été bloquée ou envoyée ailleurs.
Les revendeurs sont confrontés à un problème de communication supplémentaire. Une plateforme de revendeur IA API ne doit pas impliquer que l'abonnement ChatGPT d'un client inclut l'accès à Terra API, ou que la API disponibilité signifie que le modèle peut être sélectionné dans la norme ChatGPT. Les catalogues de produits et les rapports d'utilisation destinés aux clients doivent identifier séparément le canal d'accès et le modèle efficace.
Pour Model Gate et les services compatibles OpenAI similaires, la liste de contrôle de version pratique comprend l'ajout du modèle, l'application de prix tenant compte du cache, l'exposition de la limitation de résidence et le test du comportement des réponses et des fins de chat. Les règles de marge peuvent également nécessiter une révision si les jetons mis en cache sont transmis au coût du fournisseur alors que les entrées et sorties ordinaires comportent des balises différentes.
Les allégations de performances nécessitent encore des tests indépendants
OpenAI a signalé des améliorations des capacités, de la vitesse et des hallucinations de Terra, mais ces affirmations n'ont pas toutes été reproduites de manière indépendante. La bonne comparaison variera également en fonction de la charge de travail. Un modèle économique pour les réponses structurées courtes peut être moins attrayant pour un agent qui émet un raisonnement approfondi, tente de nouvelles actions ou effectue de longues sessions d'utilisation de l'ordinateur.
Les développeurs devraient comparer Terra avec des invites, des outils et des limites d'achèvement représentatifs plutôt que de transférer les résultats des tests de chat conventionnels. Les mesures utiles incluent le taux d'achèvement des tâches, la latence de bout en bout, la fréquence d'accès au cache, le volume de sortie, le nombre de cycles d'outils et le coût total par tâche réussie.
L'intérêt immédiat de Terra n'est donc pas qu'il soit universellement moins cher. Cela donne à API acheteurs une autre fourchette de prix de OpenAI et donne aux systèmes de routage un autre ensemble de compromis à modéliser. La réduction des coûts de production dépendra du comportement de mise en cache, de la longueur de réponse, de l'efficacité de la boucle d'agent et des politiques régionales attachées à chaque requête.