Kong AI Gateway 2.0 делает управление агентами частью работы шлюза

Компания Kong сделала Kong AI Gateway 2.0 общедоступным, что ознаменовало еще один шаг в переходе от простого прокси-сервера LLM к более широкой плоскости управления моделями, агентами, инструментами и расходами на ИИ.

Выпуск от 1 сентября содержит несколько функций, которые важны для команд, уже выполняющих производственные рабочие нагрузки ИИ: пакет MCP Server для управляемого доступа к инструментам, динамическое управление затратами с учетом различных модальностей, более широкий охват моделей и поставщиков, политики искусственного интеллекта с учетом личных данных и встроенную аутентификацию IAM для Amazon Bedrock АгентКор. Конг также сообщает, что продукт теперь доступен в Kong Konnect без бета-тестирования.

Это сочетание является новостью. Категория шлюза AI больше не ограничивается приемом запроса в стиле OpenAI, его пересылкой провайдеру и регистрацией ответа. Корпоративные покупатели все чаще хотят, чтобы шлюз решал, кто и к какой модели может звонить, какие инструменты могут использовать агенты, как следует измерять расходы и как эти решения соотносятся с системами идентификации, уже используемыми в бизнесе.

Что изменилось в Kong AI Gateway 2.0

Наиболее заметным нововведением является MCP Server Bundling. MCP, или протокол контекста модели, стал распространенным способом предоставления инструментов и ресурсов агентам ИИ. Объединение серверов MCP на уровне шлюза дает командам платформы возможность агрегировать и управлять этими соединениями инструментов, вместо того, чтобы оставлять каждую группу приложений самостоятельно подключать и контролировать интеграцию своих агентов.

Это значимое направление продукта. По мере того, как агенты переходят от демонстраций к внутренним рабочим процессам, риск заключается не в том, что модель плохо ответит на один вопрос, а в большей в том, что модель подключена к слишком большому количеству инструментов со слишком слабым контролем. Шлюз, который может упаковывать и контролировать доступ MCP, ближе подходит к операционной проблеме: какие агенты могут получить доступ к каким системам, под чьим именем и с какими границами политики.

Kong также добавила динамическое управление затратами с учетом модальности. Это важно, поскольку ценообразование ИИ больше не является единым счетчиком токенов. Текст, изображение, аудио, видео, вызовы инструментов, кэшированный контекст и режимы рассуждения могут иметь разную экономику в зависимости от поставщика. Уровень контроля затрат, который понимает модальность, может предоставить командам более точные ограничения и правила маршрутизации, чем общий счетчик запросов.

В выпуске также расширен охват моделей и поставщиков, а также добавлены политики искусственного интеллекта с учетом личных данных. Встроенная IAM-аутентификация Kong для Amazon Bedrock AgentCore особенно актуальна, поскольку Bedrock AgentCore становится одним из мест, где предприятия запускают и управляют агентами. Соединение политики шлюза с облачной идентификацией сокращает разрыв между средствами управления, специфичными для ИИ, и компаниями, занимающимися системами доступа, которые уже проводят аудит.

Почему это важно для разработчиков и команд платформы

Для разработчиков практический эффект заключается в том, что шлюз становится частью архитектуры приложения, а не просто дополнением к инфраструктуре. Команде, создающей внутреннего агента поддержки, помощника по кодированию или рабочий процесс анализа данных, теперь могут потребоваться правила шлюза для доступа к модели, доступа к инструментам, пороговым значениям бюджета и распространению идентификаторов, прежде чем приложение попадет в рабочую среду.

Это может добавить некоторые затраты на установку, но также устраняет реальный режим сбоя. Без уровня общего шлюза выбор модели, учетные данные поставщика, разрешения инструментов и средства контроля расходов имеют тенденцию распространяться по коду приложения, секретам CI, оболочкам SDK и панелям мониторинга для конкретных групп. Из-за такой фрагментации становится сложнее расследовать инциденты и моделировать миграцию.

Релиз Kong также является сигналом для поставщиков, создающих OpenAI-совместимые уровни API и продукты с несколькими моделями API. Одна только совместимость становится ставкой. Клиенты все чаще ожидают управления запросом: соблюдение политик, аналитика использования, доступ на уровне команды, контроль бюджета, резервная маршрутизация и видимость модели/поставщика.

Для пользователей Model Gate соединение является прямым. Унифицированное выставление счетов, управление ключами API, аналитика использования и командный контроль становятся более ценными, когда доступ к модели является лишь частью рабочего процесса. Поскольку агенты получают доступ к инструментам через интерфейсы в стиле MCP, шлюзы должны будут представлять не только то, какая модель была вызвана, но также какая команда, ключ, набор инструментов и контекст политики были задействованы.

Конкурентные критерии меняются

Конг не одинок в этом направлении. Недавние изменения на рынке показывают, что поставщики инфраструктуры ИИ сходятся во мнении по одной и той же более широкой проблеме: корпоративному ИИ нужен управляемый путь между пользователями, моделями, агентами, инструментами и расходами. Продукты Gateway оцениваются не столько по тому, могут ли они нормализовать форматы запросов, сколько по тому, могут ли они поддерживать контроль производства.

Это заставляет покупателей задавать более острые вопросы. Понимает ли шлюз цены и условия, зависящие от конкретного поставщика? Могут ли администраторы устанавливать политику по команде или личности? Может ли он маршрутизироваться между поставщиками без потери возможности аудита?Может ли он управлять инструментами агентов, а не только конечными точками модели? Может ли он предоставлять данные об использовании и затратах так, чтобы их могли использовать финансы, безопасность и инженеры?

Эти вопросы больше не являются теоретическими. Модели с длинным контекстом, вызовы агентских инструментов и мультимодальные рабочие нагрузки могут быстро изменить профили затрат. Рабочий процесс, который во время тестирования выглядит дешевым, может стать дорогим, когда повторяющийся ввод контекста, изображений или циклы агентов с большим количеством инструментов вступают в производство. Шлюз, который не может различить эти шаблоны, по-прежнему может централизовать доступ, но он не даст операторам достаточного контроля.

Что остается неопределенным

Объявление устанавливает общую доступность и называет ключевые возможности, но внедрение в реальном мире будет зависеть от деталей реализации: как команды настраивают пакеты MCP, насколько детализированы политики идентификации, как осуществляется контроль затрат среди смешанных поставщиков и насколько на практике клиенты получают оперативную прозрачность.

Также слишком рано говорить о том, будут ли предприятия стандартизировать управление агентами. в едином шлюзе искусственного интеллекта или распределите ответственность между облачными платформами, инструментами безопасности, платформами разработчиков и поставщиками средств наблюдения. AWS, хостинговые платформы, поставщики IDE и поставщики автономных шлюзов — все пытаются владеть частями одной и той же поверхности управления.

Тем не менее, направление ясно. Kong AI Gateway 2.0 рассматривает трафик ИИ как управляемую корпоративную систему, а не как поток вызовов моделей. Для разработчиков и компаний, использующих модели API, это означает, что решения по шлюзу становятся решениями по архитектуре: они влияют на стоимость, безопасность, выбор модели, доступ к инструментам и надежность рабочих процессов агентов.