Fireworks AI a étendu sa plate-forme d'inférence avec de nouveaux niveaux de service, une mise en cache des invites plus longue, des intégrations de bureau et des contrôles de gouvernance d'entreprise. Annoncées lors de l'événement Forge de la société le 3 novembre, les versions traitent la latence, l'urgence de la charge de travail et l'emplacement de déploiement comme des choix opérationnels distincts plutôt que comme des propriétés fixes d'un point de terminaison de modèle.
Le changement le plus important pour les développeurs pourrait être le mode en arrière-plan, qui tarife les charges de travail d'inférence reportables éligibles à la moitié du tarif normal. Fireworks a également introduit un niveau d'inférence ultra-rapide en version préliminaire publique, fonctionnant sur l'infrastructure NVIDIA Blackwell, et a rendu généralement disponibles des limites de débit sans serveur plus élevées.
Ensemble, ces ajouts créent un compromis plus explicite entre vitesse et coût. Les applications peuvent réserver une infrastructure plus rapide pour les requêtes interactives tout en déplaçant les évaluations, le traitement des documents, l'enrichissement des données et d'autres tâches tolérantes aux délais vers une file d'attente moins chère. Cette distinction existe depuis longtemps dans les systèmes de travail internes, mais Fireworks l'expose désormais comme une fonctionnalité d'inférence commerciale.
La latence devient un choix de service facturable
Fireworks affirme que son niveau ultra-rapide peut atteindre jusqu'à 1 500 jetons par seconde et cite une charge de travail de codage dans laquelle une tâche de 30 tours est passée d'environ une minute à huit secondes. Ces chiffres proviennent des propres tests de l’entreprise et ne doivent pas être considérés comme des garanties de performance universelles. Les résultats réels dépendront du modèle, de la forme de la requête, de la concurrence et de l'application environnante.
L'implication architecturale est plus durable que n'importe quel benchmark individuel. Une passerelle ne peut plus supposer que l’identité du modèle et le nombre de jetons suffisent pour expliquer des frais. Il peut également être nécessaire d'enregistrer si une requête a utilisé un niveau interactif, ultra-rapide ou en arrière-plan, ainsi que le temps d'attente et les éventuelles restrictions d'éligibilité.
Cela augmente la valeur de l'IA unifiée API facturation qui préserve les métadonnées du niveau de service. Sans ces détails, les clients peuvent avoir du mal à vérifier pourquoi deux appels vers le même modèle ont été facturés différemment. Les revendeurs auront également besoin de fiches tarifaires versionnées avant de pouvoir répercuter une remise en arrière-plan sur les clients ou en conserver une partie comme marge.
La mise en cache des invites et le routage des ordinateurs de bureau élargissent la plate-forme
Fireworks a également introduit la mise en cache des invites sur plusieurs jours. Des caches à durée de vie plus longue pourraient réduire le traitement répété des entrées pour les agents de codage, les systèmes de recherche et les applications qui réutilisent des contextes d'instructions ou de documents volumineux. Le résultat financier dépendra du prix d'écriture du cache, des règles de rétention et des taux de réussite. Les développeurs doivent donc mesurer les économies réalisées par rapport à leur propre trafic plutôt que de supposer qu'une rétention plus longue réduit automatiquement les coûts.
Nexus Desktop étend le routage du modèle Fireworks dans l'application Codex, Claude Desktop et OpenCode. Cela rapproche la sélection des modèles et la visibilité des dépenses des outils sur lesquels travaillent les développeurs. Cela place également Fireworks en concurrence plus directe avec les passerelles indépendantes et les routeurs de niveau IDE qui offrent une seule couche d'accès entre les fournisseurs.
Pour les organisations d'ingénierie, l'intégration de bureau soulève des questions familières sur le plan de contrôle : quels modèles les utilisateurs peuvent sélectionner, quelles informations d'identification le connecteur détient, comment l'utilisation est attribuée et si l'activité des outils locaux apparaît dans les enregistrements d'audit centraux. Un plan de contrôle IA API partagé pour les équipes de développeurs devient plus utile lorsque l'accès aux modèles est réparti entre les éditeurs, les agents de bureau et les tâches automatisées.
La gouvernance et le déploiement souverain progressent
Fireworks a rendu ses fonctionnalités de gouvernance des modèles, ses contrôles de dépenses et ses journaux d'audit exportables généralement disponibles. Ces fonctionnalités donnent aux administrateurs d'entreprise un moyen de gérer les accès et d'inspecter l'activité sans créer eux-mêmes chaque couche de stratégie autour de l'inférence API.
La société a également placé Fireworks Sovereign en version préliminaire privée.Cette offre est destinée à exécuter le moteur d'inférence Fireworks dans une infrastructure contrôlée par le client, s'adressant aux organisations ayant des exigences plus strictes en matière de localisation des données, de propriété opérationnelle ou d'environnements isolés. La disponibilité reste limitée et Fireworks n'a pas fourni suffisamment de détails publics pour évaluer l'effort de déploiement ou le coût total dans différents environnements.
Pour les passerelles et les plates-formes de revendeurs, ces versions augmentent la référence attendue. Les clients souhaitent de plus en plus des limites de dépenses LLM API par clé, des pistes d'audit exportables et l'application des politiques de déploiement parallèlement au routage des modèles. Model Gate et les services similaires devront également distinguer les demandes en arrière-plan et accélérées dans les enregistrements d'utilisation s'ils exposent les niveaux de service du fournisseur via un point de terminaison unifié.
Ce qui reste flou
Fireworks affirme que son infrastructure peut doubler les jetons par dollar GPU et qu'elle gère plus de 25 000 GPU clients. Les deux chiffres sont rapportés par le fournisseur. Des comparaisons indépendantes seront nécessaires pour déterminer les performances des nouveaux niveaux dans une concurrence soutenue, différents modèles et charges de travail réelles des agents.
Le mode en arrière-plan nécessite également un examen plus approfondi. Fireworks le décrit comme disponible pour les charges de travail reportables éligibles, mais l'éligibilité, la latence de la file d'attente et la couverture du modèle peuvent varier. Avant de déplacer des tâches de production, les équipes doivent confirmer le comportement d'annulation, les délais d'attente, l'observabilité et si les travaux en file d'attente ont les mêmes conditions de traitement des données que l'inférence ordinaire.
Les annonces de Forge ne réduisent pas l'achat d'inférence à une simple décision rapide ou bon marché. Ils y ajoutent plus de dimensions. Les développeurs doivent désormais décider non seulement quel modèle doit traiter une requête, mais aussi avec quelle urgence il doit s'exécuter, combien de temps son contexte doit rester en cache et où le moteur d'inférence doit fonctionner. Les passerelles capables de conserver ces décisions dans les politiques, les journaux et les factures seront mieux placées que les systèmes qui représentent chaque demande sous forme de frais de jeton indifférenciés.