<п>ОпенРоутер је додао контролну таблу активности и АПИ аналитике за клијенте који треба да разумеју одакле долази употреба модела и цена. Издање, објављено 17. августа, даје тимовима рашчлањивање по димензијама као што су агент, апликација, члан тима, АПИ кључ, модел, добављач и радни простор.<п>То може звучати као функција извештавања. У пракси, то је знак да <стронг>аналитика коришћења АИ постаје кључни део АИ инфраструктуре, а не административни додатак. Како компаније прелазе са експеримената са једним четботом на више агената, алата за кодирање, интерних апликација и аутоматизације окренуте клијентима, једна укупна потрошња више није довољна. Тимови треба да знају који ток посла је генерисао рачун, који модел је коришћен, колико је кеширање помогло и да ли су се кашњење или пропусност променили након одлуке о рутирању.<п>ОпенРоутер каже да нови производ укључује метрике као што су потрошња, број захтева, обим токена, стопа погодака у кеш меморији, комбинована цена по милион токена, проценти латенције и низ. Такође каже да АПИ Аналитике укључује метаподатке и крајње тачке упита и захтева управљачки кључ.<х2>Оно што се променило<п>Најважнија промена није једноставно то што је ОпенРоутер додао графиконе. Ради се о томе да компанија излаже анализу употребе и трошкова на нивоу ближем начину на који су модерни АИ системи заправо изграђени.<п>У многим организацијама јединица рада АИ више није корисник који куца у прозор за ћаскање. То може бити агент који архивира захтеве за повлачењем, посао сумирања у позадини, продајни помоћник уграђен у ЦРМ, ток посла за подршку, процес чишћења података или партнерска апликација изграђена на врху мрежног пролаза. Сваки може да позива различите моделе, преко различитих добављача, под различитим АПИ кључевима, са различитим понашањем кеширања и захтевима за кашњење.<п>Подржавајући приписивање међу агентима, апликацијама, члановима тима, АПИ кључевима, моделима, добављачима и радним просторима, ОпенРоутер потврђује да контрола трошкова вештачке интелигенције зависи од контекста. Високи рачуни за један модел могу бити прихватљиви ако спадају у радни ток корисника који ствара приход. За исти рачун из интерног експеримента можда ће бити потребно ограничење буџета. Нагли пораст кашњења може бити важан за живи производ, али није важан за ноћни серијски процес. Ниска комбинована цена по милион токена може да сакрије слабо коришћење кеша или резервну путању која је тихо премештала захтеве на скупљи модел.<х2>Зашто је ово важно за мрежне пролазе и тимове платформе<п>За <стронг>АИ АПИ капију, рутирање је само пола посла. Када мрежни пролаз може да шаље захтеве вишеструким моделима и провајдерима, купцима је потребан доказ да одлуке о рутирању функционишу. Тај доказ долази из уочљивости: захтеви, токени, потрошња, кашњење, понашање кеша и обрасци неуспеха повезани су са тимовима и апликацијама које су их генерисале.<п>Ново лансирање ОпенРоутера подиже конкурентску основу за инфраструктуру са више модела. Програмери и финансијски тимови ће вероватно очекивати детаљне анализе по АПИ кључу и моделу. Тимови на платформи ће желети погледе на нивоу радног простора и на нивоу члана тима. Креатори агената ће желети атрибуцију по агенту, јер у супротном аутономни токови посла могу постати непоседовани центри трошкова. Партнери и препродавци ће желети АПИ приступ аналитици како би могли да уграде извештавање о коришћењу у сопствене контролне табле.<п>Ово је посебно релевантно за платформе као што је Модел Гате, где су обједињени обрачун, управљање АПИ кључевима, контроле тима, аналитика коришћења и Партнерски АПИ део површине производа. Ако корисници покрећу многе низводне услуге преко једног интерфејса компатибилног са ОпенАИ, мрежни пролаз мора да одговори више од „колико смо потрошили?“ Мора да одговори „ко га је потрошио, преко ког кључа, на који модел, за коју апликацију, са којом латенцијом и са којом ефикасношћу кеша?“<п>То очекивање такође мења начин на који тимови производа дизајнирају АПИ кључеве. Кључеви нису само акредитиви; они су границе атрибуције. Ако сваки ток посла дели један кључ, аналитика постаје мање корисна. Ако се кључеви мапирају у окружења, тимове, агенте или клијенте, контролне табле и АПИ-ји могу да постану практичан алат за управљање и наплату.<х2>Практичне последице за програмере и предузећа<п>Програмери би ово требало да третирају као позив да поново размотре означавање, структуру кључева и праксе евидентирања. Аналитика по агенту функционише само ако се захтеви могу повезати са правим агентом или апликацијом. Тимовима који граде интерне АИ платформе ће можда бити потребне конвенције за метаподатке, одвајање радног простора и кључеве специфичне за окружење. Без тих конвенција, чак и јак производ за аналитику може да произведе двосмислене извештаје.<п>Тимови за финансије и операције такође треба да обрате пажњу на метрику кеша и комбиновану цену по милион токена. Како провајдери уводе сложеније моделе цена, укључујући попусте на кеширане токене и стопе специфичне за модел, необрађени обим токена није довољан да објасни рачун.Ток посла који шаље много токена може бити ефикасан ако су стопе погодака кеша високе. Други са мањим обимом може бити скуп ако више пута пропушта кеш меморију, непотребно користи премијум моделе или покреће резервне.<п>Процентили кашњења и пропусности су подједнако важни. Просечно кашњење може да сакрије понашање репа које штети производима окренутим корисницима. Перцентилни прикази помажу тимовима да разумеју да ли је модел већину времена брз, али непоуздан под оптерећењем, или да ли је добављач погодан за интерактивну употребу у односу на групну обраду. За системе рутирања, ови подаци могу да доведу до одлука о смерницама: задржите модел ниске цене за позадинске послове, резервишите брже или скупље опције за путеве окренуте клијентима и упозорите када се учинак смањи.<п>За агенције, креаторе СааС-а и друге компаније које користе модел партнера или препродавца, АПИ Аналитике може бити значајнији од контролне табле. Извештавање које је доступно преко АПИ-ја омогућава прављење страница о коришћењу које су окренуте клијентима, упозорења о буџету, интерних повраћаја средстава, анализе марже и аутоматизоване примене смерница. Слој аутоматизације Партнерског АПИ-ја постаје веродостојнији када може да открије податке о трошковима и учинку, а не само да обезбеди приступ.<х2>Оно што остаје неизвесно<п>ОпенРоутер-ова најава описује доступне димензије и метрике, али дугорочни ефекат ће зависити од тога како тимови користе податке и колико ће АПИ постати потпун за оперативни ток посла. На пример, аналитика је најмоћнија када је упарена са контролама буџета, политикама рутирања, упозорењима, извозом и дозволама. Захтев за кључ за управљање је разуман за осетљиве податке о обрачуну, али то такође значи да ће клијенти морати да рукују тим кључем као акредитивом са високим привилегијама.<п>Постоји и шире питање тржишта. Како се АИ мрежни пролази, моделна тржишта и клауд платформе такмиче, аналитика може постати диференцијатор мање због самих графикона, а више због тога колико добро се повезује са управљањем. Победнички образац ће вероватно комбиновати приписивање коришћења, управљање АПИ кључевима, дозволе тима, ограничења буџета, политику избора модела и трагове ревизије.<п>За сада, потез ОпенРоутера је јасан сигнал: потрошња вештачке интелигенције постаје превише распоређена да би се могла управљати само на основу фактура. Следећа фаза контроле трошкова АИ АПИ-ја ће се мерити на нивоу агената, кључева, радних простора и избора рутирања.