Fireworks AI proširio je svoju platformu za zaključivanje novim razinama usluga, dužim brzim spremanjem u predmemoriju, integracijama radne površine i kontrolama upravljanja poduzećem. Najavljena na događaju tvrtke Forge 3. studenoga, izdanja tretiraju latenciju, hitnost radnog opterećenja i lokaciju implementacije kao zasebne operativne izbore, a ne kao fiksna svojstva krajnje točke modela.
Najkonzekventnija promjena za razvojne programere mogla bi biti Pozadinski način rada, koji prikladna radna opterećenja koja se mogu odgoditi zaključivanjem cijene upola niže od normalne stope. Fireworks je također uveo ultrabrzu razinu zaključivanja u javnom pregledu, koja se izvodi na infrastrukturi NVIDIA Blackwell, te je općenito učinio dostupnima viša ograničenja brzine bez poslužitelja.
Zajedno, ovi dodaci stvaraju eksplicitniji kompromis između brzine i cijene. Aplikacije mogu rezervirati bržu infrastrukturu za interaktivne zahtjeve dok premještaju procjene, obradu dokumenata, obogaćivanje podataka i druge poslove tolerantne na kašnjenje u jeftiniji red čekanja. Ta razlika već dugo postoji u internim sustavima poslova, ali Fireworks je sada razotkriva kao značajku komercijalnog zaključivanja.
Kašnjenje postaje izbor usluge koja se naplaćuje
Fireworks kaže da njegova ultrabrza razina može dosegnuti do 1500 tokena u sekundi i navodi radno opterećenje kodiranja u kojem je zadatak od 30 okreta pao s otprilike jedne minute na osam sekundi. Te brojke proizlaze iz vlastitog testiranja tvrtke i ne bi ih se trebalo smatrati univerzalnim jamstvima performansi. Stvarni rezultati ovisit će o modelu, obliku zahtjeva, konkurentnosti i okolnoj aplikaciji.
Arhitektonska implikacija je trajnija od bilo kojeg pojedinačnog mjerila. Gateway više ne može pretpostaviti da su identitet modela i broj tokena dovoljni za objašnjenje naknade. Možda će također trebati zabilježiti je li zahtjev koristio interaktivnu, ultrabrzu ili pozadinsku razinu, zajedno s vremenom čekanja i svim ograničenjima prihvatljivosti.
To povećava vrijednost objedinjene AI API naplate koja čuva metapodatke razine usluge. Bez te pojedinosti korisnici bi mogli imati problema s provjerom zašto su dva poziva prema istom modelu imala različite cijene. Prodavači će također trebati cjenike s verzijama prije nego što mogu proslijediti pozadinski popust kupcima ili zadržati dio kao maržu.
Brzo predmemoriranje i usmjeravanje na radnoj površini proširuju platformu
Fireworks je također uveo višednevno brzo predmemoriranje. Dugotrajnije predmemorije mogle bi smanjiti ponovljenu obradu ulaza za agente kodiranja, istraživačke sustave i aplikacije koje ponovno koriste velike instrukcije ili kontekste dokumenata. Financijski rezultat ovisit će o cijenama pisanja u predmemoriju, pravilima zadržavanja i stopama pogodaka, tako da bi programeri trebali mjeriti uštede prema vlastitom prometu, a ne pretpostaviti da duže zadržavanje automatski smanjuje troškove.
Nexus Desktop proširuje usmjeravanje Fireworks modela u Codex aplikaciju, Claude Desktop i OpenCode. Time se odabir modela i vidljivost potrošnje približavaju alatima u kojima programeri rade. Također postavlja Fireworks u izravniju konkurenciju s neovisnim pristupnicima i usmjerivačima na razini IDE koji nude jedan pristupni sloj za sve pružatelje usluga.
Za inženjerske organizacije, integracija stolnog računala postavlja poznata pitanja kontrolne ravnine: koje modele korisnici mogu odabrati, koje vjerodajnice konektor drži, kako se pripisuje korištenje i pojavljuje li se aktivnost lokalnog alata u zapisima središnje revizije. Zajednička AI API kontrolna razina za razvojne timove postaje korisnija kada se pristup modelu distribuira između urednika, agenata za stolna računala i automatiziranih poslova.
Upravljanje i suverena implementacija napreduju
Fireworks je učinio svoje značajke upravljanja modelima, kontrole potrošnje i izvozne revizijske zapisnike općenito dostupnima. Ove mogućnosti daju administratorima poduzeća način upravljanja pristupom i pregledom aktivnosti bez izgradnje svakog sloja pravila oko zaključka API.
Tvrtka je također stavila Fireworks Sovereign u privatni pregled.Ta je ponuda namijenjena pokretanju Fireworks mehanizma za zaključivanje u infrastrukturi koju kontrolira korisnik, obraćajući se organizacijama sa strožim zahtjevima oko lokacije podataka, operativnog vlasništva ili izoliranih okruženja. Dostupnost je i dalje ograničena, a Fireworks nije pružio dovoljno javnih detalja za procjenu napora pri implementaciji ili ukupnih troškova u različitim okruženjima.
Za pristupnike i platforme preprodavača, ova izdanja povisuju očekivanu osnovnu vrijednost. Kupci sve više žele LLM API ograničenja potrošnje po ključu, revizijske tragove koji se mogu izvoziti i provedbu pravila implementacije uz usmjeravanje modela. Model Gate i slične usluge također će morati razlikovati pozadinske i ubrzane zahtjeve u zapisima o korištenju ako izlože razine usluga pružatelja putem objedinjene krajnje točke.
Ono što ostaje nejasno
Fireworks kaže da njegova infrastruktura može udvostručiti tokene po GPU dolaru i da upravlja s više od 25 000 korisničkih GPU-a. Obje brojke navode dobavljači. Bit će potrebne neovisne usporedbe kako bi se utvrdilo kakav je učinak novih razina u stalnoj konkurentnosti, različitim modelima i stvarnim radnim opterećenjima agenata.
Pozadinski način rada također zahtijeva pomniji nadzor. Fireworks ga opisuje kao dostupnog za prihvatljiva odgodiva radna opterećenja, ali prihvatljivost, latencija čekanja i pokrivenost modela mogu varirati. Prije premještanja proizvodnih poslova, timovi bi trebali potvrditi ponašanje otkazivanja, ograničenja vremenskog ograničenja, vidljivost i ima li posao u redu čekanja iste uvjete za rukovanje podacima kao obični zaključak.
Najave Forgea ne svode kupnju zaključivanja na jednostavnu odluku brzo naspram jeftine. Oni mu dodaju više dimenzija. Programeri sada moraju odlučiti ne samo koji model treba obraditi zahtjev, već i koliko hitno treba pokrenuti, koliko dugo njegov kontekst treba ostati u predmemoriji i gdje bi mehanizam za zaključivanje trebao raditi. Pristupnici koji mogu sačuvati te odluke u pravilima, zapisima i fakturama bit će bolje pozicionirani od sustava koji svaki zahtjev predstavljaju kao nediferencirano terećenje tokena.