Anthropic је представио Claude Хаику 5.5, нови мали модел Claude који има за циљ радна оптерећења великог обима и цене API. Лансирање је мање важно јер се други модел појавио у каталогу, а више зато што мења економику рутинског саобраћаја Claude: класификација, сумирање, рад подагента, кораци коришћења прегледача, сажимање и други позиви којима није увек потребан већи модел.

Насловна цена је агресивна. Anthropic наводи Claude Хаику 5.5 по цени од 0,10 УСД за милион улазних токена и 0,50 УСД за милион излазних токена за упите до 100.000 токена, са вишим стопама за упите изнад тог прага. Компанија каже да је модел доступан на Claude платформи и преко Амазон Веб Сервицес, Google Цлоуд и Мицрософт Азуре. ОпенРоутер такође наводи Claude Хаику 5.5 са контекстним прозором од 1М токена и доступношћу више добављача.

У исто време, Anthropic је снизио Claude цену читања кеша за Соннет 5.5 са 0,20 УСД на 0,10 УСД за милион токена. Ову другу промену је лако пропустити, али може бити једнако важна за тимове који поново користе дугачке системске упите, спремишта, документацију или стање разговора у многим позивима.

Шта се променило

Claude Хаику 5.5 даје програмерима јефтинију опцију за породицу Claude за рад који је осетљив на кашњење, који се понавља или има велику количину. У пракси, то врши притисак на политике рутирања. Тим ће можда желети Хаику за издвајање, тријажу налик модерацији, кратке резимее и књиговодство агената, уз задржавање Сонета или већег модела Claude за теже расуђивање или генерисање које се суочава са клијентима.

Та подела није само проблем кода апликације. Мрежни пролаз више модела API за тимове мора да зна који узводни канали носе модел, како га сваки провајдер излаже, која ограничења контекста се примењују и како треба да се понаша прелазак на грешку када је једна рута у облаку недоступна. Ако мрежни пролаз третира „Claude Хаику 5.5“ као један равни каталошки ред, може сакрити материјалне разлике у приступу добављача, ограничењима стопе и руковању контекстом.

Цене такође имају облик који системи за обрачун треба да разумеју. Јавна цена Anthropic није јединствена универзална стопа улазног токена; наведена ниска стопа се примењује на упите до 100.000 токена, са вишим стопама изнад тога. То значи да мерење употребе мора да сачува брзу дужину и примени исправан опсег. Просечан трошак након чињенице може бити прихватљив за грубу контролну таблу, али је слаб за фактуре клијената, марже препродавца или интерна повраћаја средстава.

Зашто је исечење кеша важно

Смањење цене читања кеш меморије Соннет 5.5 указује на шири образац у економији модела. За многа оптерећења агента и кодирања, најјефтинији захтев није увек онај који се шаље најмањем моделу. Већи модел са у великој мери поново коришћеним кешираним контекстом може бити јефтинији, или барем предвидљивији, од сталног слања пуног контекста мањем.

Ово је посебно релевантно за агенте за кодирање и дуготрајне помоћнике. Они често носе мапе спремишта, упутства за алате, претходне резимее и текст политике на много начина. Ако кеш читања појефтине, питање рутирања се мења са „који модел има најнижу улазну цену?“ на „која комбинација модела, кешираног контекста и типа задатка даје најбољи резултат цене и квалитета?“

За тимове платформе, оперативна последица је јасна: рачуноводство токена треба да одвоји обичне улазне токене од читања кеша. Њихово мешање може пореметити анализу марже и учинити да један ток посла изгледа скупље него што јесте. За тим за АИ API операције препродавача, та разлика може да одлучи да ли је налог клијента профитабилан, подцењен или је погрешно ограничен.

Ко је погођен

Програмери који праве системе агената су најнепосреднија публика. Хаику 5.5 им даје још једног кандидата за субагенте, сабијање, структурисано издвајање, чишћење резултата претраге, претходну обраду докумената и друге задатке који се покрећу много пута унутар већег тока посла. Ако ти позиви тренутно подразумевано иду на Сонет, нови модел може смањити цену без промене видљивог искуства производа. То још увек треба тестирати; тврдње добављача о учинку и просечној уштеди не би требало да се третирају као замена за процену специфичног радног оптерећења.

Предузећа која користе неколико Claude приступних путања такође имају посао чишћења. Доступност рутера у стилу Anthropic, АВС, Google Цлоуд, Азуре и ОпенРоутер је корисна, али ствара проблем са мапирањем каталога. Набавка може да преферира једно тржиште у облаку, инжењеринг може да преферира директан приступ Anthropic, а мрежном пролазу ће можда бити потребне резервне руте на оба. Само име модела није довољно да дефинише руту.

Продавци и партнерске платформе суочавају се са оштријом верзијом истог проблема. Клијент који купује приступ Claude преко портала очекује једноставну цену и поуздану крајњу тачку. Иза тога, оператер мора да се бави доступношћу специфичном за провајдера, опсегом цена у брзини дужине, обрачуном читања кеш меморије, разликама у ограничењима стопе и евентуалним маржама специфичним за купца. Управо ту обједињени АИ API обрачун постаје више од консолидације фактура; постаје слој политике за одлучивање о томе како ће економија модела бити изложена крајњим корисницима.

Шта остаје неизвесно

Главна непознаница је учинак у стварним радним оптерећењима. Anthropic-ово позиционирање Хаикуа 5.5 као малог, брзог модела за употребу великог обима је уверљиво, али кашњење, квалитет и уштеде у трошковима могу да варирају у зависности од добављача, региона, величине контекста и дизајна задатка. ОпенРоутер-ов списак 1М токена такође чини дужину контекста делом приче о интеграцији, али тимови и даље морају да потврде практична ограничења и понашање путем изабраног путање добављача.

Постоји и ризик од миграције. Ако тимови аутоматски усмере сав „јефтин“ рад на Хаику 5.5, могли би да уштеде новац док деградирају суптилне задатке као што су праћење инструкција, синтеза више докумената или планирање позивања алата. Бољи образац је да прво преместите одређене класе оптерећења, измерите квалитет излаза и цену, а затим одлучите да ли је шире рутирање оправдано.

За платформе у стилу Model Gate, лансирање је подсетник да каталози модела постају механизам за одређивање цена. Додавање Claude Хаику 5.5 значи више од додавања ИД-а. Мрежни пролаз мора да разоткрије праве руте провајдера, одвојено приказује трошкове кеша и не-кеширања, подржава правила наплате за дужину промпта и даје тимовима довољно аналитике да виде да ли њихова политика рутирања заиста функционише.