Kong a făcut Kong AI Gateway 2.0 disponibil în general, marcând un alt pas în trecerea de la simpla proxy LLM către un plan de control mai larg pentru modele, agenți, instrumente și cheltuieli AI.

Versiunea de 1 septembrie aduce mai multe caracteristici care contează echipelor care rulează deja sarcini de lucru AI de producție: MCP Server Bundling pentru diferite instrumente de gestionare a costurilor, acces la diferite modalități de gestionare a costurilor și modele de conturi pentru diferite modalități de gestionare. acoperire, politici AI conștiente de identitate și autentificare IAM nativă pentru Amazon Bedrock AgentCore. Kong mai spune că produsul este acum disponibil în Kong Konnect fără activare beta.

Acea combinație este știrea. Categoria gateway AI nu mai este doar despre preluarea unei cereri în stil OpenAI, redirecționarea acesteia către un furnizor și înregistrarea răspunsului. Cumpărătorii întreprinderilor doresc din ce în ce mai mult ca gateway-ul să decidă cine poate apela la ce model, la ce instrumente poate ajunge un agent, cum ar trebui măsurate cheltuielile și cum aceste decizii se corelează cu sistemele de identitate deja utilizate de companie.

Ceea ce s-a schimbat în Kong AI Gateway 2.0

Cea mai notabilă adăugare este MCP Server Bundling. MCP, sau Model Context Protocol, a devenit o modalitate obișnuită de a expune instrumentele și resursele agenților AI. Gruparea serverelor MCP la nivelul gateway oferă echipelor platformei un loc pentru a agrega și guverna acele conexiuni de instrumente, mai degrabă decât să lase fiecare echipă de aplicații să-și controleze propriile integrări de agenți.

Aceasta este o direcție semnificativă de produs. Pe măsură ce agenții trec de la demonstrații în fluxurile de lucru interne, riscul este mai puțin ca un model să răspundă prost la o întrebare și mai mult ca un model să fie conectat la prea multe instrumente cu prea puțină supraveghere. Un gateway care poate împacheta și controla accesul MCP se află mai aproape de problema operațională: ce agenți pot ajunge la ce sisteme, sub a căror identitate și cu ce granițe de politică.

Kong a adăugat, de asemenea, un management dinamic al costurilor care ține seama de modalități. Acest lucru contează deoarece prețul AI nu mai este un singur token metru. Text, imagine, audio, video, apeluri de instrumente, contextul memorat în cache și modurile de raționament pot avea fiecare economie diferită în funcție de furnizor. Un nivel de control al costurilor care înțelege modalitatea poate oferi echipelor limite și reguli de rutare mai precise decât un contor de solicitări generic.

Versiunea extinde, de asemenea, acoperirea modelului și a furnizorilor și adaugă politici AI conștiente de identitate. Autentificarea nativă IAM a lui Kong pentru Amazon Bedrock AgentCore este deosebit de relevantă, deoarece Bedrock AgentCore devine unul dintre locurile în care întreprinderile rulează și gestionează agenți. Conectarea politicii de gateway la identitatea cloud reduce decalajul dintre controalele specifice AI și sistemele de acces deja auditate de companiile.

De ce contează acest lucru pentru dezvoltatori și echipele de platformă

Pentru dezvoltatori, efectul practic este că gateway-ul devine parte a arhitecturii aplicației, nu doar un supliment de infrastructură. O echipă care formează un agent de asistență intern, un asistent de codare sau un flux de lucru de analiză a datelor poate avea acum nevoie de reguli de gateway pentru accesul la model, accesul la instrumente, pragurile bugetare și propagarea identității înainte ca aplicația să ajungă la producție.

Aceasta poate adăuga costuri de configurare, dar abordează și un mod de eșec real. Fără un strat gateway partajat, selecția modelului, acreditările furnizorului, permisiunile pentru instrumente și controalele cheltuielilor tind să se răspândească în codul aplicației, secretele CI, pachetele SDK și tablourile de bord specifice echipei. Această fragmentare face ca incidentele să fie mai greu de investigat și modelele de migrare mai greu de executat.

Lansarea lui Kong este, de asemenea, un semnal pentru furnizorii care construiesc straturi API compatibile cu OpenAI și produse API cu mai multe modele. Doar compatibilitatea devine mize de masă. Clienții se așteaptă din ce în ce mai mult la guvernare în jurul cererii: aplicarea politicii, analiza utilizării, acces la nivel de echipă, controale bugetare, rutare alternativă și vizibilitate model/furnizor.

Pentru utilizatorii Model Gate, conexiunea este directă. Facturarea unificată, gestionarea cheilor API, analiza utilizării și controalele echipei devin toate mai valoroase atunci când accesul la model este doar o parte a fluxului de lucru. Pe măsură ce agenții obțin acces la instrumente prin interfețe în stil MCP, gateway-urile vor trebui să reprezinte nu numai ce model a fost numit, ci și ce echipă, cheie, pachet de instrumente și context de politică au fost implicate.

Etalonul competitiv se schimbă

Kong nu este singurul în această direcție. Mișcările recente de pe piață arată că furnizorii de infrastructură AI converg către aceeași problemă mai largă: IA pentru întreprinderi are nevoie de o cale guvernată între utilizatori, modele, agenți, instrumente și cheltuieli. Produsele gateway sunt judecate mai puțin dacă pot normaliza formatele de solicitare și mai mult dacă pot suporta controalele producției.

Aceasta pune presiune pe cumpărători să pună întrebări mai clare. Gateway-ul înțelege prețurile și modalitățile specifice furnizorului? Pot administratorii să stabilească politica în funcție de echipă sau de identitate? Poate ruta de la furnizori fără a pierde auditabilitatea?Poate guverna instrumentele agenților, nu doar punctele finale model? Poate expune datele despre utilizare și costuri într-un mod pe care îl pot folosi finanțele, securitatea și inginerie?

Aceste întrebări nu mai sunt teoretice. Modelele cu context lung, apelurile de instrumente de agenți și sarcinile de lucru multimodale pot schimba rapid profilurile de cost. Un flux de lucru care pare ieftin în timpul testării poate deveni costisitor atunci când contextul repetat, intrările de imagine sau buclele de agenți grele de instrumente intră în producție. Un gateway care nu poate distinge aceste modele poate centraliza în continuare accesul, dar nu va oferi operatorilor suficient control.

Ceea ce rămâne incert

Anunțul stabilește disponibilitatea generală și numește capacitățile cheie, dar adoptarea în lumea reală va depinde de detaliile de implementare: modul în care echipele configurează pachetele MCP, cât de granulară sunt politicile de control al identității, cât de mult sunt operațiunile de control conștient de cost, cât de mult sunt politicile de control al identității clienții de vizibilitate obțin în practică.

De asemenea, este prea devreme pentru a ști dacă întreprinderile vor standardiza guvernanța agenților într-un singur gateway AI sau vor împărți responsabilitatea pe platforme cloud, instrumente de securitate, platforme pentru dezvoltatori și furnizori de observabilitate. AWS, platformele de găzduire, furnizorii de IDE și furnizorii de gateway autonomi încearcă cu toții să dețină părți ale aceleiași suprafețe de control.

Totuși, direcția este clară. Kong AI Gateway 2.0 tratează traficul AI ca un sistem de întreprindere guvernat, mai degrabă decât un flux de apeluri model. Pentru dezvoltatori și companii care se bazează pe modele API, asta înseamnă că deciziile privind gateway-urile devin decizii de arhitectură: ele afectează costul, securitatea, alegerea modelului, accesul la instrumente și fiabilitatea fluxurilor de lucru ale agenților.