Kong sprístupnil Kong AI Gateway 2.0 všeobecne, čo predstavuje ďalší krok v posune od jednoduchého LLM proxy k širšej riadiacej rovine pre modely, agentov, nástroje a výdavky na AI.

Vydanie z 1. septembra prináša niekoľko funkcií, ktoré sú dôležité pre tímy, ktoré už používajú produkčné pracovné zaťaženia AI: MCP Server Bundling pre riadený prístup k nástrojom, dynamickú správu nákladov, ktorá berie do úvahy rôzne modely, identitu a modality poskytovateľa IAM softvéru. overenie pre Amazon Bedrock AgentCore. Kong tiež hovorí, že produkt je teraz dostupný v Kong Konnect bez povolenia beta.

Táto kombinácia je novinkou. Kategória brány AI už nie je len o prijatí požiadavky v štýle OpenAI, jej preposlaní poskytovateľovi a zaznamenaní odpovede. Podnikoví kupujúci čoraz viac požadujú, aby brána rozhodovala o tom, kto môže volať ktorý model, aké nástroje môže agent dosiahnuť, ako by sa mali merať výdavky a ako sa tieto rozhodnutia priraďujú k systémom identity, ktoré už firma používa.

Čo sa zmenilo v Kong AI Gateway 2.0

Najpozoruhodnejším prírastkom je MCP Server Bundling. MCP, alebo Model Context Protocol, sa stal bežným spôsobom, ako vystaviť nástroje a zdroje agentom AI. Združenie serverov MCP na vrstvu brány poskytuje platformovým tímom miesto na agregáciu a riadenie týchto prepojení nástrojov, namiesto toho, aby každý aplikačný tím prepájal a kontroloval svoje vlastné integrácie agentov.

To je zmysluplný produktový smer. Keď agenti prechádzajú z ukážok do interných pracovných tokov, riziko je menšie v tom, že model odpovie na jednu otázku zle, ale skôr v tom, že model je pripojený k príliš veľkému počtu nástrojov s príliš malým dohľadom. Brána, ktorá dokáže zabaliť a riadiť prístup k MCP, je bližšie k prevádzkovému problému: ktorí agenti môžu dosiahnuť ktoré systémy, pod akou identitou as akými hranicami politiky.

Kong tiež pridal dynamické riadenie nákladov s ohľadom na modality. To je dôležité, pretože ceny AI už nie sú jedným tokenovým meračom. Text, obrázok, zvuk, video, volania nástrojov, kontext vo vyrovnávacej pamäti a režimy uvažovania môžu mať rôzne ekonomické vlastnosti v závislosti od poskytovateľa. Vrstva riadenia nákladov, ktorá chápe modalitu, môže poskytnúť tímom presnejšie limity a pravidlá smerovania ako všeobecné počítadlo požiadaviek.

Vydanie tiež rozširuje pokrytie modelov a poskytovateľov a pridáva pravidlá AI s ohľadom na identitu. Natívne overovanie IAM spoločnosti Kong pre Amazon Bedrock AgentCore je obzvlášť dôležité, pretože Bedrock AgentCore sa stáva jedným z miest, kde podniky prevádzkujú a spravujú agentov. Prepojenie politiky brány s identitou cloudu znižuje priepasť medzi kontrolami špecifickými pre AI a prístupovými systémami, ktoré spoločnosti už auditujú.

Prečo je to dôležité pre vývojárov a tímy platforiem

Pre vývojárov je praktický efekt, že brána sa stáva súčasťou aplikačnej architektúry, nielen doplnkom infraštruktúry. Tím, ktorý vytvára interného podporného agenta, kódovacieho asistenta alebo pracovný tok analýzy údajov, môže teraz potrebovať pravidlá brány pre prístup k modelu, prístup k nástrojom, rozpočtové prahy a šírenie identity predtým, ako sa aplikácia dostane do produkcie.

To môže zvýšiť náklady na nastavenie, ale rieši to aj skutočný režim zlyhania. Bez vrstvy zdieľanej brány sa výber modelu, poverenia poskytovateľa, povolenia nástrojov a kontroly výdavkov zvyčajne šíria cez kód aplikácie, tajomstvá CI, obaly SDK a panely špecifické pre tímy. Táto fragmentácia sťažuje vyšetrovanie incidentov a ťažšie vykonateľné modelovanie migrácií.

Vydanie spoločnosti Kong je tiež signálom pre dodávateľov, ktorí vytvárajú vrstvy API kompatibilné s OpenAI a produkty API s viacerými modelmi. Samotná kompatibilita sa stáva stolovými stávkami. Zákazníci čoraz viac očakávajú riadenie v súvislosti s požiadavkou: presadzovanie pravidiel, analýzy používania, prístup na úrovni tímu, riadenie rozpočtu, záložné smerovanie a viditeľnosť modelu/poskytovateľa.

Pre používateľov Model Gate je pripojenie priame. Jednotná fakturácia, správa kľúčov API, analýzy používania a tímové kontroly sa stávajú cennejšími, keď je prístup k modelu iba jednou súčasťou pracovného postupu. Keď agenti získajú prístup k nástrojom cez rozhrania v štýle MCP, brány budú musieť reprezentovať nielen to, ktorý model bol povolaný, ale aj to, o ktorý tím, kľúč, balík nástrojov a kontext politiky sa to týkalo.

Konkurenčné kritérium sa mení

Kong nie je v tomto smere sám. Nedávne pohyby na trhu ukazujú, že dodávatelia infraštruktúry AI sa stretávajú s rovnakým širším problémom: podniková AI potrebuje riadenú cestu medzi používateľmi, modelmi, agentmi, nástrojmi a výdavkami. Produkty Gateway sa posudzujú menej podľa toho, či dokážu normalizovať formáty požiadaviek, a skôr podľa toho, či dokážu podporovať riadenie výroby.

To vyvíja tlak na kupujúcich, aby kládli ostrejšie otázky. Rozumie brána cenám a modalitám špecifickým pre poskytovateľa? Môžu správcovia nastaviť politiku podľa tímu alebo identity? Môže smerovať medzi poskytovateľov bez straty auditovateľnosti?Môže riadiť nástroje agentov, nielen modelovať koncové body? Dokáže odhaliť údaje o používaní a nákladoch spôsobom, ktorý môžu využiť financie, bezpečnosť a inžinierstvo?

Tieto otázky už nie sú teoretické. Modely s dlhým kontextom, volania nástrojov agentov a multimodálne pracovné zaťaženia môžu rýchlo zmeniť profily nákladov. Pracovný postup, ktorý počas testovania vyzerá lacno, sa môže predražiť, keď do výroby vstúpia opakovaný kontext, obrazové vstupy alebo slučky agentov s množstvom nástrojov. Brána, ktorá nedokáže rozlíšiť tieto vzory, môže stále centralizovať prístup, ale operátorom neposkytne dostatočnú kontrolu.

Čo zostáva neisté

Oznámenie stanovuje všeobecnú dostupnosť a pomenúva kľúčové funkcie, no prijatie v reálnom svete bude závisieť od podrobností implementácie: ako tímy konfigurujú balíky MCP, ako podrobné sú politiky zohľadňujúce identitu, ako sa správajú kontroly nákladov u rôznych poskytovateľov a koľko viditeľnosti v podnikoch získajú zákazníci v praxi príliš skoro.

Smer je však jasný. Kong AI Gateway 2.0 zaobchádza s AI prevádzkou ako s riadeným podnikovým systémom a nie s prúdom modelových hovorov. Pre vývojárov a firmy, ktoré stavajú na modelových rozhraniach API, to znamená, že rozhodnutia o bráne sa stávajú rozhodnutiami o architektúre: ovplyvňujú náklady, bezpečnosť, výber modelu, prístup k nástrojom a spoľahlivosť pracovných postupov agentov.