A Kong általánosan elérhetővé tette a Kong AI Gateway 2.0-t, ami újabb lépést jelent az egyszerű LLM-proxytól a modellek, ügynökök, eszközök és mesterséges intelligencia ráfordítások szélesebb vezérlési síkja felé való elmozdulásban.
A szeptember 1-jei kiadás számos olyan funkciót tartalmaz, amelyek fontosak a már éles mesterségesintelligencia-munkaterhelést futtató csapatok számára: MCP-szervercsomagolás a szabályozott eszköz-hozzáféréshez, dinamikusabb költségkezelési szolgáltatók, szélesebb körű költségkezelés személyazonosság-tudatos AI-irányelvek és natív IAM-hitelesítés az Amazon Bedrock AgentCore számára. Kong azt is mondja, hogy a termék már elérhető a Kong Konnectben béta engedélyezése nélkül.
Ez a kombináció a hír. Az AI-átjáró kategória már nem csak egy OpenAI-stílusú kérés fogadásáról, a szolgáltatónak való továbbításáról és a válasz naplózásáról szól. A vállalati vásárlók egyre inkább azt szeretnék, hogy az átjáró döntse el, ki melyik modellt hívhatja meg, mely eszközöket érheti el az ügynök, hogyan kell mérni a költést, és hogyan illeszkednek ezek a döntések a vállalkozás által már használt identitásrendszerekhez.
Mi változott a Kong AI Gateway 2.0-ban
A legfigyelemreméltóbb kiegészítés az MCP Server Bundling. Az MCP vagy a Model Context Protocol gyakori módja annak, hogy eszközöket és erőforrásokat tárjanak fel az AI-ügynökök számára. Az MCP-szerverek átjárórétegben történő összekapcsolása helyet biztosít a platformcsapatok számára az eszközkapcsolatok összesítésére és irányítására, ahelyett, hogy minden alkalmazáscsapat saját ügynökintegrációinak vezetékezését és felügyeletét bízná meg.
Ez egy értelmes termékirány. Ahogy az ügynökök a demókból a belső munkafolyamatokba lépnek át, a kockázat kevésbé annak a kockázata, hogy egy modell rosszul válaszol egy kérdésre, hanem inkább az, hogy egy modell túl sok eszközhöz csatlakozik túl kevés felügyelet mellett. Az MCP-hozzáférést csomagolni és vezérelni képes átjáró közelebb áll az üzemeltetési problémához: mely ügynökök milyen rendszereket érhetnek el, kinek az identitása alatt, és milyen politikai határokkal.
A Kong dinamikus modalitás-tudatos költségkezelést is hozzáadott. Ez azért fontos, mert a mesterséges intelligencia árazása már nem egyetlen token mérő. A szöveg, a kép, a hang, a videó, az eszközhívások, a gyorsítótárazott kontextus és az érvelési módok a szolgáltatótól függően eltérő gazdaságosságot hordozhatnak. A modalitást megértő költségellenőrzési réteg pontosabb korlátokat és útválasztási szabályokat adhat a csapatoknak, mint egy általános kérésszámláló.
A kiadás emellett kibővíti a modell és a szolgáltató lefedettségét, és hozzáadja az identitástudatos mesterséges intelligencia irányelveit. Kong natív IAM-hitelesítése az Amazon Bedrock AgentCore számára különösen fontos, mert a Bedrock AgentCore egyre inkább az egyik olyan hely lesz, ahol a vállalatok ügynököket futtatnak és kezelnek. Az átjáróházirend és a felhőalapú identitás összekapcsolása csökkenti a szakadékot az AI-specifikus vezérlők és a már ellenőrzött hozzáférési rendszerek között.
Miért fontos ez a fejlesztők és a platformcsapatok számára?
A fejlesztők számára az a gyakorlati hatás, hogy az átjáró az alkalmazásarchitektúra részévé válik, nem csupán infrastruktúra-kiegészítővé. A belső támogatási ügynököt, kódolási asszisztenst vagy adatelemzési munkafolyamatot építő csapatnak átjárószabályokra lehet szüksége a modelleléréshez, az eszközhozzáféréshez, a költségvetési küszöbökhöz és az identitásterjesztéshez, mielőtt az alkalmazás elérné a termelést.
Ez némi beállítási költséggel járhat, de a valós hibaüzemet is kezeli. Megosztott átjáróréteg nélkül a modellválasztás, a szolgáltatói hitelesítési adatok, az eszközengedélyek és a költésvezérlők általában szétterjednek az alkalmazáskódok, a CI-titkok, az SDK-burkolók és a csapatspecifikus irányítópultok között. Ez a széttagoltság megnehezíti az incidensek kivizsgálását és a migráció modellezését.
A Kong kiadása egyben jelzés az OpenAI-kompatibilis API-rétegeket és többmodelles API-termékeket építő szállítók számára is. Egyedül a kompatibilitás válik az asztal tétjévé. Az ügyfelek egyre inkább elvárják a kérés körüli irányítást: irányelvek betartatása, használati elemzés, csapatszintű hozzáférés, költségvetés-szabályozás, tartalék útválasztás és modell/szolgáltató láthatósága.
A Model Gate felhasználói számára a kapcsolat közvetlen. Az egységes számlázás, az API-kulcsok kezelése, a használati elemzés és a csapatvezérlések mind értékesebbekké válnak, ha a modellelérés csak egy része a munkafolyamatnak. Ahogy az ügynökök MCP-stílusú interfészeken keresztül hozzáférnek az eszközökhöz, az átjáróknak nem csak azt kell bemutatniuk, hogy melyik modellt hívták meg, hanem azt is, hogy melyik csapatot, kulcsot, eszközcsomagot és politikai környezetet vettek igénybe.
A versenyképességi viszonyítási alap változik
Kong nincs egyedül ebben az irányban. A piacon a közelmúltban történt lépések azt mutatják, hogy az AI-infrastruktúra-szállítók ugyanazzal a szélesebb problémával foglalkoznak: a vállalati AI-nak szabályozott útvonalra van szüksége a felhasználók, a modellek, az ügynökök, az eszközök és a kiadások között. Az átjárótermékeket kevésbé az alapján ítélik meg, hogy képesek-e normalizálni a kérésformátumokat, és inkább az alapján, hogy támogatják-e a gyártásvezérlést.
Ez arra készteti a vásárlókat, hogy élesebb kérdéseket tegyenek fel. Megérti az átjáró a szolgáltató-specifikus árakat és módozatokat? Az adminisztrátorok beállíthatnak házirendet csapat vagy identitás szerint? Képes-e átirányítani a szolgáltatók között anélkül, hogy elveszítené az auditálhatóságot?Irányíthatja-e az ügynökeszközöket, nem csak a modell végpontokat? Feltárhatja-e a használati és költségadatokat úgy, ahogyan azt a pénzügyek, a biztonság és a mérnöki tudományok egyaránt felhasználhatják?
Ezek a kérdések már nem elméletiek. A hosszú kontextusú modellek, az ügynöki eszközhívások és a multimodális munkaterhelések gyorsan megváltoztathatják a költségprofilokat. A tesztelés során olcsónak tűnő munkafolyamat drágává válhat, amikor ismételt kontextus, képbemenetek vagy szerszámigényes ügynökhurkok kerülnek a termelésbe. Egy átjáró, amely nem tudja megkülönböztetni ezeket a mintákat, továbbra is központosíthatja a hozzáférést, de nem ad elegendő irányítást az üzemeltetőknek.
Ami továbbra is bizonytalan
A bejelentés meghatározza az általános elérhetőséget és megnevezi a kulcsfontosságú képességeket, de a valós alkalmazás a megvalósítás részleteitől függ: hogyan konfigurálják a csapatok az MCP-csomagokat, mennyire részletesek a költség- és vezérlőprogramok, milyen identitásúak. Az ügyfelek a gyakorlatban megkapják a működési láthatóságot.
Túl korai lenne azt is tudni, hogy a vállalatok egyetlen AI-átjáróban egységesítik-e az ügynökirányítást, vagy megosztják-e a felelősséget a felhőplatformok, a biztonsági eszközök, a fejlesztői platformok és a megfigyelési szolgáltatók között. Az AWS, a hosting platformok, az IDE-szállítók és az önálló átjáró-szolgáltatók mind ugyanannak a vezérlőfelületnek a részeit próbálják birtokolni.
Az irány ennek ellenére egyértelmű. A Kong AI Gateway 2.0 a mesterséges intelligencia forgalmat irányított vállalati rendszerként kezeli, nem pedig modellhívások folyamaként. A modell API-kra építő fejlesztők és vállalkozások számára ez azt jelenti, hogy az átjáróval kapcsolatos döntések architektúra döntésekké válnak: hatással vannak a költségekre, a biztonságra, a modellválasztásra, az eszközök elérésére és az ügynöki munkafolyamatok megbízhatóságára.