Конг је учинио Конг АИ Гатеваи 2.0 опште доступним, означавајући још један корак у преласку од једноставног ЛЛМ проксија ка широј контролној равни за моделе, агенте, алате и потрошњу АИ.
Издање од 1. септембра доноси неколико функција које су важне за тимове који већ користе производна АИ радна оптерећења: MCP, управљање динамичким приступом алатима за управљање трошковима за различите алате за управљање трошковима шира покривеност модела и провајдера, политике вештачке интелигенције свесне идентитета и изворна ИАМ аутентификација за Амазон Бедроцк АгентЦоре. Конг такође каже да је производ сада доступан у Конг Коннецт-у без омогућавања бета верзије.
Та комбинација је вест. Категорија АИ гатеваи-а више није само у преузимању захтева у стилу OpenAI, прослеђивању истог добављачу и евидентирању одговора. Купци предузећа све више желе да приступни пролаз одлучује ко може да позове који модел, које алате агент може да досегне, како треба да се мери потрошња и како се те одлуке пресликавају на системе идентитета које предузеће већ користи.
Оно што се променило у Конг АИ Гатеваи 2.0
Најзначајнији додатак је MCP Повезивање сервера. MCP, или Модел Цонтект Протоцол, постао је уобичајен начин да се алати и ресурси изложе АИ агентима. Повезивање MCP сервера на слоју мрежног пролаза даје тимовима платформе место да агрегирају и управљају тим везама алата уместо да остављају сваком тиму апликације да повезује и контролише сопствене интеграције агената.
То је смислен правац производа. Како агенти прелазе са демонстрације на интерне токове посла, ризик је мањи у томе да модел лоше одговори на једно питање, а више у томе да је модел повезан са превише алата уз премало надзора. Мрежни пролаз који може да пакује и контролише приступ MCP ближи је оперативном проблему: који агенти могу да дођу до којих система, под чијим идентитетом и са којим границама смерница.
Конг је такође додао динамичко управљање трошковима свесно на модалитет. Ово је важно јер АИ цене више нису јединствени мерач токена. Текст, слика, аудио, видео, позиви алата, кеширани контекст и начини размишљања могу имати различиту економију у зависности од провајдера. Слој контроле трошкова који разуме модалитет може дати тимовима прецизнија ограничења и правила рутирања од генеричког бројача захтева.
Издање такође проширује покривеност модела и добављача и додаје АИ смернице које су свесне идентитета. Конгова изворна ИАМ аутентификација за Амазон Бедроцк АгентЦоре је посебно релевантна јер Бедроцк АгентЦоре постаје једно од места где предузећа управљају агентима и управљају њима. Повезивање смерница мрежног пролаза са идентитетом у облаку смањује јаз између контрола специфичних за вештачку интелигенцију и компаније које већ ревидирају приступне системе.
Зашто је ово важно за програмере и тимове платформе
За програмере, практичан ефекат је да мрежни пролаз постаје део архитектуре апликације, а не само инфраструктурни додатак. Тиму који изграђује интерни агент за подршку, помоћник за кодирање или ток посла за анализу података ће сада можда бити потребна правила мрежног пролаза за приступ моделу, приступ алатима, прагове буџета и ширење идентитета пре него што апликација достигне производњу.
То може додати неке трошкове подешавања, али такође решава прави режим квара. Без дељеног слоја мрежног пролаза, избор модела, акредитиви добављача, дозволе алата и контроле потрошње имају тенденцију да се рашире на код апликације, ЦИ тајне, омоте SDK и контролне табле специфичне за тим. Та фрагментација отежава истраживање инцидената и теже извршавање миграција модела.
Конгово издање је такође сигнал добављачима који праве OpenAI-компатибилне API слојеве и производе са више модела API. Сама компатибилност постаје улог за столом. Клијенти све више очекују управљање око захтева: спровођење смерница, аналитику коришћења, приступ на нивоу тима, контролу буџета, резервно рутирање и видљивост модела/провајдера.
За Model Gate кориснике, веза је директна.Обједињени обрачун, управљање кључевима API, аналитика коришћења и контроле тима постају вредније када је приступ моделу само један део тока посла. Како агенти добијају приступ алатима преко интерфејса у стилу MCP, мрежни пролази ће морати да представљају не само који је модел позван, већ и који тим, кључ, скуп алата и контекст политике су били укључени.
Конкурентни стандард се мења
Конг није сам у овом правцу. Недавни покрети широм тржишта показују да се добављачи АИ инфраструктуре приближавају истом ширем проблему: АИ предузећу треба уређен пут између корисника, модела, агената, алата и потрошње. Гатеваи производи се мање процењују по томе да ли могу да нормализују формате захтева, а више по томе да ли могу да подрже контролу производње.
То ставља притисак на купце да постављају оштрија питања. Да ли мрежни пролаз разуме цене и модалитете за специфичне провајдере? Да ли администратори могу да постављају смернице према тиму или идентитету? Може ли се усмјеравати преко провајдера без губитка контроле? Може ли управљати алатима агента, а не само крајњим тачкама модела? Може ли открити податке о употреби и трошковима на начин на који финансије, безбедност и инжењеринг могу да користе?
Та питања више нису теоретска. Модели дугог контекста, позиви алата агента и мултимодална радна оптерећења могу брзо да промене профиле трошкова. Ток посла који изгледа јефтино током тестирања може постати скуп када се понављајући контекст, уноси слике или петље агената са тешким алатима уђу у производњу. Мрежни пролаз који не може да разликује ове обрасце може и даље да централизује приступ, али неће дати оператерима довољно контроле.
Оно што остаје неизвесно
Објава успоставља општу доступност и именује кључне могућности, али усвајање у стварном свету зависиће од детаља имплементације: како тимови конфигуришу датотеке, колико су грануларне смернице, колико су грануларне смернице за контролу пакета MCP понашају се међу мешовитим провајдерима и колику оперативну видљивост клијенти добијају у пракси.
Такође је прерано знати да ли ће предузећа стандардизовати управљање агентима у једном АИ пролазу или поделити одговорност на платформе у облаку, безбедносне алате, платформе за програмере и добављаче могућности за посматрање. АВС, платформе за хостовање, ИДЕ добављачи и добављачи самосталних мрежних пролаза покушавају да поседују делове исте контролне површине.
Ипак, правац је јасан. Конг АИ Гатеваи 2.0 третира АИ саобраћај као управљани систем предузећа, а не као ток позива модела. За програмере и предузећа која граде на АПИ-јима модела, то значи да одлуке о мрежним пролазима постају одлуке о архитектури: утичу на цену, безбедност, избор модела, приступ алатима и поузданост токова рада агената.