Umetna inteligenca Fireworks je razširila svojo platformo sklepanja z novimi nivoji storitev, daljšim hitrim predpomnjenjem, integracijami namizja in kontrolami upravljanja podjetja. Izdaje, ki so bile objavljene na dogodku podjetja Forge 3. novembra, obravnavajo zakasnitev, nujnost delovne obremenitve in lokacijo uvajanja kot ločene operativne izbire in ne kot fiksne lastnosti končne točke modela.

Najposledičnejša sprememba za razvijalce je morda način ozadja, ki primerne delovne obremenitve z odloživim sklepanjem ceni za polovico nižje od običajne stopnje. Fireworks je v javnem predogledu uvedel tudi ultrahitro stopnjo sklepanja, ki deluje na infrastrukturi NVIDIA Blackwell, in omogočil splošno dostopnost višjih omejitev hitrosti brez strežnika.

Skupaj ti dodatki ustvarijo jasnejši kompromis med hitrostjo in ceno. Aplikacije lahko rezervirajo hitrejšo infrastrukturo za interaktivne zahteve, medtem ko vrednotenja, obdelavo dokumentov, obogatitev podatkov in druga opravila, ki dopuščajo zamude, premaknejo v cenejšo čakalno vrsto. Ta razlika že dolgo obstaja v internih sistemih opravil, vendar jo Fireworks zdaj razkriva kot komercialno sklepanje.

Zakasnitev postane izbira plačljive storitve

Fireworks pravi, da lahko njegova ultrahitra stopnja doseže do 1500 žetonov na sekundo in navaja delovno obremenitev kodiranja, pri kateri je opravilo s 30 obrati padlo s približno ene minute na osem sekund. Te številke izhajajo iz lastnega testiranja podjetja in jih ne bi smeli obravnavati kot univerzalna jamstva za učinkovitost. Dejanski rezultati bodo odvisni od modela, oblike zahteve, sočasnosti in okoliške aplikacije.

Arhitekturna implikacija je trajnejša od katere koli posamezne primerjalne vrednosti. Prehod ne more več domnevati, da identiteta modela in število žetonov zadostujeta za razlago bremenitve. Morda bo moral zabeležiti tudi, ali je zahteva uporabila interaktivno, ultrahitro ali ozadje, skupaj s časom čakalne vrste in morebitnimi omejitvami glede upravičenosti.

To poveča vrednost poenotenega AI API obračunavanja, ki ohranja metapodatke storitvene ravni. Brez te podrobnosti bodo stranke morda imele težave pri preverjanju, zakaj je bila cena dveh klicev istega modela različna. Preprodajalci bodo potrebovali tudi cenovne kartice z različicami, preden bodo lahko strankam posredovali popust v ozadju ali obdržali del tega kot maržo.

Takojšnje predpomnjenje in usmerjanje namizja razširjata platformo

Fireworks je uvedel tudi večdnevno takojšnje predpomnjenje. Dolgotrajnejši predpomnilniki bi lahko zmanjšali ponavljajočo se obdelavo vnosa za agente za kodiranje, raziskovalne sisteme in aplikacije, ki ponovno uporabljajo velike kontekste navodil ali dokumentov. Finančni rezultat bo odvisen od cen pisanja v predpomnilnik, pravil hrambe in stopnje zadetkov, zato bi morali razvijalci prihranke meriti glede na lastni promet, namesto da domnevajo, da daljša hramba samodejno zniža stroške.

Nexus Desktop razširja usmerjanje modela Fireworks v Codex aplikacijo, Claude Desktop in OpenCode. To postavlja izbiro modela in vidnost porabe bližje orodjem, v katerih delajo razvijalci. Prav tako postavlja Fireworks v bolj neposredno konkurenco z neodvisnimi prehodi in usmerjevalniki na ravni IDE, ki ponujajo eno plast dostopa med ponudniki.

Za inženirske organizacije integracija namizja odpira znana vprašanja nadzorne ravnine: katere modele lahko izberejo uporabniki, katere poverilnice ima konektor, kako se pripisuje uporaba in ali se aktivnost lokalnega orodja pojavi v osrednjih revizijskih zapisih. Skupna AI API nadzorna ravnina za skupine razvijalcev postane uporabnejša, ko je dostop do modela porazdeljen med urejevalnike, namizne agente in avtomatizirana opravila.

Upravljanje in suverena uvedba napredujeta

Fireworks je svoje funkcije upravljanja modela, nadzor porabe in izvozne revizijske dnevnike naredil splošno dostopne. Te zmožnosti dajejo skrbnikom podjetja način za upravljanje dostopa in pregledovanje dejavnosti, ne da bi sami gradili vsako plast pravilnika okoli zaključka API.

Podjetje je tudi postavilo Fireworks Sovereign v zasebni predogled.Ta ponudba je namenjena zagonu mehanizma sklepanja Fireworks v infrastrukturi, ki jo nadzoruje stranka, in obravnava organizacije s strožjimi zahtevami glede lokacije podatkov, operativnega lastništva ali izoliranih okolij. Razpoložljivost je še vedno omejena in Fireworks ni zagotovil dovolj javnih podrobnosti, da bi ocenil napor uvajanja ali skupne stroške v različnih okoljih.

Za prehode in platforme preprodajalcev te izdaje zvišujejo pričakovano izhodišče. Stranke vse bolj želijo LLM API omejitve porabe po ključu, izvozne revizijske sledi in uveljavljanje pravilnika o uvajanju poleg usmerjanja modela. Model Gate in podobne storitve bodo prav tako morale razlikovati med zahtevami v ozadju in pospešenimi zahtevami v zapisih o uporabi, če razkrijejo ravni storitev ponudnika prek poenotene končne točke.

Kaj ostaja nejasno

Fireworks pravi, da lahko njegova infrastruktura podvoji žetone na dolar GPU in da upravlja več kot 25.000 grafičnih procesorjev strank. Obe številki poroča prodajalec. Potrebne bodo neodvisne primerjave, da se ugotovi, kako se nove ravni obnesejo pri trajni sočasnosti, različnih modelih in dejanskih delovnih obremenitvah agentov.

Način v ozadju zahteva tudi natančnejši pregled. Fireworks ga opisuje kot na voljo za primerne odložene delovne obremenitve, vendar se lahko primernost, zakasnitev čakalne vrste in pokritost modela razlikujejo. Preden premaknejo produkcijska opravila, morajo ekipe potrditi vedenje preklica, omejitve časovne omejitve, opazljivost in ali ima delo v čakalni vrsti enake pogoje za ravnanje s podatki kot navadno sklepanje.

Obvestila Forge ne zmanjšujejo nakupovanja sklepanja na preprosto odločitev hitrega proti poceni. Dodajo ji več dimenzij. Razvijalci se morajo zdaj odločiti ne le, kateri model naj obravnava zahtevo, ampak tudi, kako nujno naj se izvaja, kako dolgo naj ostane njegov kontekst predpomnjen in kje naj deluje mehanizem sklepanja. Prehodi, ki lahko ohranijo te odločitve v pravilniku, dnevnikih in računih, bodo v boljšem položaju kot sistemi, ki vsako zahtevo predstavljajo kot nediferencirano bremenitev žetona.