Fireworks AI, çıkarım platformunu yeni hizmet katmanları, daha uzun bilgi istemi önbelleğe alma, masaüstü entegrasyonları ve kurumsal yönetişim kontrolleriyle genişletti. Şirketin 3 Kasım'daki Forge etkinliğinde duyurulan sürümler, gecikmeyi, iş yükü aciliyetini ve dağıtım konumunu, bir model uç noktasının sabit özellikleri yerine ayrı operasyonel seçenekler olarak ele alıyor.

Geliştiriciler için en önemli değişiklik, uygun ertelenebilir çıkarım iş yüklerini normal oranın yarısı kadar fiyatlandıran Arka Plan Modu olabilir. Fireworks ayrıca genel önizlemede NVIDIA Blackwell altyapısı üzerinde çalışan bir Ultra hızlı çıkarım katmanı sunmuş ve daha yüksek sunucusuz hız limitlerini genel kullanıma sunmuştur.

Birlikte, bu eklemeler hız ve maliyet arasında daha belirgin bir denge oluşturur. Uygulamalar, değerlendirmeleri, belge işlemeyi, veri zenginleştirmeyi ve diğer gecikmeye dayanıklı işleri daha ucuz bir kuyruğa taşırken etkileşimli istekler için daha hızlı altyapı ayırabilir. Bu ayrım dahili iş sistemlerinde uzun süredir mevcut, ancak Fireworks bunu artık ticari bir çıkarım özelliği olarak ortaya koyuyor.

Gecikme, faturalandırılabilir bir hizmet seçeneği haline geliyor

Fireworks, Ultra hızlı katmanının saniyede 1.500 jetona kadar ulaşabileceğini söylüyor ve 30 dönüşlü bir görevin yaklaşık bir dakikadan sekiz saniyeye düştüğü bir kodlama iş yükünü belirtiyor. Bu rakamlar şirketin kendi testlerinden alınmıştır ve evrensel performans garantisi olarak değerlendirilmemelidir. Gerçek sonuçlar modele, istek şekline, eş zamanlılığa ve çevredeki uygulamaya bağlı olacaktır.

Mimari çıkarım, herhangi bir bireysel karşılaştırmadan daha dayanıklıdır. Bir ağ geçidi artık model kimliğinin ve belirteç sayısının bir ücreti açıklamak için yeterli olduğunu varsayamaz. Ayrıca bir isteğin etkileşimli, ultra hızlı veya arka plan katmanı kullanıp kullanmadığının yanı sıra sıra süresi ve uygunluk kısıtlamalarını da kaydetmesi gerekebilir.

Bu, hizmet katmanı meta verilerini koruyan birleşik AI API faturalandırma değerini artırır. Bu ayrıntı olmadan müşteriler aynı modele yapılan iki çağrının neden farklı fiyatlandırıldığını doğrulamakta zorlanabilirler. Bayiler ayrıca arka plan indirimini müşterilere aktarmadan veya bunun bir kısmını marj olarak alıkoymadan önce sürümlendirilmiş ücret listelerine ihtiyaç duyacaktır.

İstem önbelleğe alma ve masaüstü yönlendirme, platformu genişletir

Fireworks ayrıca çok günlü istem önbelleğe almayı da tanıttı. Daha uzun ömürlü önbellekler, kodlama aracıları, araştırma sistemleri ve büyük talimat veya belge bağlamlarını yeniden kullanan uygulamalar için tekrarlanan giriş işlemlerini azaltabilir. Mali sonuç, önbellek yazma fiyatlandırmasına, saklama kurallarına ve isabet oranlarına bağlı olacaktır; bu nedenle geliştiriciler, daha uzun saklamanın maliyetleri otomatik olarak düşürdüğünü varsaymak yerine tasarrufları kendi trafiklerine göre ölçmelidir.

Nexus Masaüstü, Fireworks modeli yönlendirmesini Codex uygulamasına, Claude Masaüstüne ve OpenCode'ye kadar genişletir. Bu, model seçimini ve harcama görünürlüğünü geliştiricilerin çalıştığı araçlara daha yakın hale getirir. Bu aynı zamanda Fireworks'ü, sağlayıcılar arasında tek erişim katmanı sunan bağımsız ağ geçitleri ve IDE düzeyindeki yönlendiricilerle daha doğrudan bir rekabete sokar.

Mühendislik kuruluşları için, masaüstü entegrasyonu tanıdık kontrol düzlemi sorularını gündeme getirir: kullanıcıların hangi modelleri seçebileceği, bağlayıcının hangi kimlik bilgilerini tuttuğu, kullanımın nasıl ilişkilendirildiği ve yerel araç etkinliğinin merkezi denetim kayıtlarında görünüp görünmediği. Geliştirici ekipleri için paylaşılan bir AI API kontrol düzlemi, model erişimi düzenleyiciler, masaüstü aracıları ve otomatikleştirilmiş işler arasında dağıtıldığında daha kullanışlı hale gelir.

Yönetim ve bağımsız dağıtım ileriye doğru gidiyor

Fireworks, model yönetimi özelliklerini, harcama kontrollerini ve dışa aktarılabilir denetim günlüklerini genel kullanıma sundu. Bu yetenekler, kurumsal yöneticilere, her politika katmanını API çıkarımı etrafında oluşturmadan erişimi yönetme ve etkinliği denetleme yolu sağlar.

Şirket ayrıca Fireworks Sovereign'ı özel önizlemeye yerleştirdi.Bu teklifin, Fireworks çıkarım motorunu müşteri tarafından kontrol edilen altyapıda çalıştırması ve veri konumu, operasyonel sahiplik veya yalıtılmış ortamlar konusunda daha katı gereksinimleri olan kuruluşlara hitap etmesi amaçlanmaktadır. Kullanılabilirlik sınırlı olmaya devam ediyor ve Fireworks, farklı ortamlar genelinde dağıtım çabasını veya toplam maliyeti değerlendirmek için yeterli genel ayrıntı sağlamadı.

Ağ geçitleri ve satıcı platformları için bu sürümler, beklenen temeli yükseltir. Müşteriler giderek daha fazla LLM API anahtar'a göre harcama limitleri, dışa aktarılabilir denetim yolları ve model yönlendirmenin yanı sıra dağıtım politikası uygulamasını istiyor. Model Gate ve benzer hizmetlerin, sağlayıcı hizmet katmanlarını birleşik bir uç nokta aracılığıyla ortaya çıkarması durumunda, kullanım kayıtlarındaki arka plan ve hızlandırılmış istekleri de ayırt etmesi gerekecektir.

Belirsiz kalan şey

Fireworks, altyapısının GPU doları başına belirteçleri ikiye katlayabildiğini ve 25.000'den fazla müşteri GPU'sunu yönettiğini söylüyor. Her iki rakam da satıcı tarafından rapor edilmiştir. Yeni katmanların sürekli eşzamanlılık, farklı modeller ve gerçek aracı iş yükleri karşısında nasıl performans gösterdiğini belirlemek için bağımsız karşılaştırmalara ihtiyaç duyulacaktır.

Arka Plan Modu ayrıca daha yakından inceleme gerektirir. Fireworks bunu uygun ertelenebilir iş yükleri için kullanılabilir olarak tanımlar ancak uygunluk, kuyruk gecikmesi ve model kapsamı değişiklik gösterebilir. Üretim işlerini taşımadan önce ekipler, iptal davranışını, zaman aşımı sınırlarını, gözlemlenebilirliği ve sıradaki işin sıradan çıkarımla aynı veri işleme şartlarına sahip olup olmadığını doğrulamalıdır.

Forge duyuruları, çıkarım satın alma işlemini basit, hızlı ve ucuz bir karara indirgememektedir. Ona daha fazla boyut katıyorlar. Geliştiricilerin artık yalnızca bir isteği hangi modelin ele alması gerektiğine değil, aynı zamanda ne kadar acilen çalıştırılması gerektiğine, içeriğinin ne kadar süre önbellekte kalması gerektiğine ve çıkarım motorunun nerede çalışması gerektiğine de karar vermesi gerekiyor. Bu kararları politikada, günlüklerde ve faturalarda koruyabilen ağ geçitleri, her isteği farklılaştırılmamış bir jeton ücreti olarak temsil eden sistemlerden daha iyi konumlandırılacaktır.