Фиреворкс АИ је проширио своју платформу за закључивање новим нивоима услуга, дужим брзим кеширањем, интеграцијом радне површине и контролама управљања предузећем. Најављена на догађају компаније Форге 3. новембра, издања третирају кашњење, хитност радног оптерећења и локацију примене као одвојене оперативне изборе, а не као фиксна својства крајње тачке модела.
Најважнија промена за програмере може бити Позадински режим, који цени прихватљиво радно оптерећење одложене стопе закључивања упола мање од уобичајене радне брзине. Фиреворкс је такође увео ултра-брзи ниво закључивања у јавном прегледу, који ради на НВИДИА Блацквелл инфраструктури, и учинио опште доступним виша ограничења брзине без сервера.
Заједно, ови додаци стварају експлицитнији компромис између брзине и цене. Апликације могу резервисати бржу инфраструктуру за интерактивне захтеве док премештају евалуације, обраду докумената, обогаћивање података и друге послове толерантне на кашњење у јефтинији ред чекања. Та разлика већ дуго постоји у интерним системима послова, али Фиреворкс је сада излаже као комерцијалну функцију закључивања.
Кашњење постаје избор услуге за наплату
Фиреворкс каже да његов ултра-брзи ниво може да достигне до 1500 токена у секунди и наводи радно оптерећење кодирања од око 30 минута на задатак. Ове бројке потичу из сопственог тестирања компаније и не треба их третирати као универзалне гаранције учинка. Стварни резултати ће зависити од модела, облика захтева, конкурентности и околне апликације.
Архитектонска импликација је трајнија од било ког појединачног мерила. Гатеваи више не може претпоставити да су идентитет модела и број токена довољни да објасне наплату. Можда ће такође морати да забележи да ли је захтев користио интерактивни, ултрабрзи или позадински ниво, заједно са временом у реду и свим ограничењима квалификованости.
Ово повећава вредност обједињеног АИ API обрачуна који чува метаподатке нивоа услуге. Без тог детаља, купци ће можда имати проблема да потврде зашто су два позива истом моделу различита цена. Препродавцима ће такође бити потребни верзионисани ценовници пре него што буду могли да проследе позадински попуст клијентима или задрже његов део као маржу.
Промпт кеширање и рутирање десктопа проширују платформу
Фиреворкс је такође увео вишедневно кеширање обавештења. Дуготрајнији кешови могли би да смање поновљене обраде уноса за агенте за кодирање, истраживачке системе и апликације које поново користе велике контексте инструкција или докумената. Финансијски резултат ће зависити од цена уписивања у кеш, правила задржавања и стопа погодака, тако да би програмери требало да мере уштеде у односу на сопствени саобраћај уместо да претпостављају да дуже задржавање аутоматски смањује трошкове.
Некус Десктоп проширује рутирање Фиреворкс модела на апликацију Codex, Claude Десктоп и OpenCode. Ово ставља избор модела и видљивост потрошње ближе алатима у којима раде програмери. Такође ставља Фиреворкс у директнију конкуренцију са независним мрежним пролазима и рутерима на нивоу ИДЕ који нуде један слој приступа за све провајдере.
За инжењерске организације, интеграција радне површине поставља позната питања на контролној равни: које моделе корисници могу да изаберу, које акредитиве има конектор, како се приписује употреба и да ли се активност локалних алата појављује у евиденцији централне ревизије. Заједничка АИ API контролна раван за тимове програмера постаје кориснија када је приступ моделу распоређен на уређиваче, десктоп агенте и аутоматизоване послове.
Управљање и суверена примена напредују
Ватромет је учинио доступним своје моделе за контролу потрошње и опште функције управљања евиденцијом потрошње. Ове могућности дају администраторима предузећа начин да управљају приступом и провере активности без изградње сваког слоја политике око самог закључка API.
Компанија је такође поставила Фиреворкс Совереигн у приватни преглед.Та понуда је намењена покретању механизма за закључивање Фиреворкс у инфраструктури коју контролише купац, обраћајући се организацијама са строжијим захтевима у вези са локацијом података, оперативним власништвом или изолованим окружењима. Доступност је и даље ограничена, а Фиреворкс није пружио довољно јавних детаља за процену напора за примену или укупних трошкова у различитим окружењима.
За мрежне пролазе и платформе препродавача, ова издања подижу очекивану основну вредност. Клијенти све више желе ЛЛМ API ограничења потрошње према кључу, извезиве трагове ревизије и примену смерница за примену уз усмеравање модела. Model Gate и сличне услуге ће такође морати да разликују позадинске и убрзане захтеве у записима о коришћењу ако излажу нивое услуга провајдера преко обједињене крајње тачке.
Оно што остаје нејасно
Фиреворкс каже да његова инфраструктура може да удвостручи токене по долару ГПУ-а и да управља са више од 25.000 корисничких ГПУ-а. Обе бројке су пријављене од стране добављача. Биће потребна независна поређења да би се утврдило како нови нивои функционишу у одрживој истовремености, различитим моделима и стварним радним оптерећењима агента.
Позадински режим такође захтева пажљивије испитивање. Фиреворкс га описује као доступног за радна оптерећења која испуњавају услове за одлагање, али подобност, кашњење у реду и покривеност модела могу да варирају. Пре премештања производних послова, тимови треба да потврде понашање отказивања, ограничења временског ограничења, видљивост и да ли рад у реду има исте услове за руковање подацима као и обично закључивање.
Објаве Форге не своде куповину на основу закључка на једноставну одлуку о брзој у односу на јефтину. Они му додају више димензија. Програмери сада морају да одлуче не само који модел треба да обради захтев, већ и колико хитно треба да се покрене, колико дуго његов контекст треба да остане кеширан и где треба да ради механизам закључивања. Гејтвеји који могу да сачувају те одлуке у смерницама, евиденцијама и фактурама биће боље позиционирани од система који сваки захтев представљају као недиференцирано наплату токена.