Kong ir padarījis Kong AI Gateway 2.0 vispārēju pieejamu, iezīmējot vēl vienu soli pārejā no vienkāršas LLM starpniekserverēšanas uz plašāku modeļu, aģentu, rīku un mākslīgā intelekta tēriņu vadības plakni.

1. septembra laidienā ir iekļautas vairākas funkcijas, kas ir svarīgas komandām, kuras jau izmanto ražošanas AI darba slodzi: MCP servera komplektēšana pārvaldītam rīku un pakalpojumu nodrošinātājam, dinamiska izmaksu pārvaldība, plašāka izmaksu pārvaldība. identitāti apzinošas AI politikas un vietējā IAM autentifikācija Amazon Bedrock AgentCore. Kong arī saka, ka produkts tagad ir pieejams Kong Konnect bez beta iespējotas.

Šī kombinācija ir jaunums. AI vārtejas kategorija vairs nav tikai OpenAI stila pieprasījuma pieņemšana, tā pārsūtīšana pakalpojumu sniedzējam un atbildes reģistrēšana. Uzņēmumu pircēji arvien vairāk vēlas, lai vārteja izlemtu, kurš var piezvanīt kuram modelim, kādus rīkus aģents var sasniegt, kā jāmēra tēriņi un kā šie lēmumi tiek attiecināti uz uzņēmuma jau izmantotajām identitātes sistēmām.

Kas mainījās Kong AI Gateway 2.0

Ievērojamākais papildinājums ir MCP Server Bundling. MCP jeb modeļa konteksta protokols ir kļuvis par izplatītu veidu, kā AI aģentiem atklāt rīkus un resursus. MCP serveru komplektēšana vārtejas slānī sniedz platformu komandām vietu, kur apkopot un pārvaldīt šos rīku savienojumus, nevis atstāt katrai lietojumprogrammu komandai izveidot un kontrolēt savu aģentu integrāciju.

Tas ir nozīmīgs produkta virziens. Aģentiem pārejot no demonstrācijām uz iekšējām darbplūsmām, risks ir mazāks par to, ka modelis slikti atbild uz vienu jautājumu, bet vairāk par to, ka modelis ir savienots ar pārāk daudziem rīkiem ar pārāk mazu pārraudzību. Vārteja, kas var pakotēt un kontrolēt MCP piekļuvi, ir tuvāk darbības problēmai: kuri aģenti var sasniegt kādas sistēmas, saskaņā ar kuru identitāti un ar kādām politikas robežām.

Kong pievienoja arī dinamisku modalitāti apzinošu izmaksu pārvaldību. Tam ir nozīme, jo mākslīgā intelekta cenas vairs nav viena marķiera mērītājs. Tekstam, attēlam, audio, video, rīku izsaukumiem, kešatmiņā saglabātajam kontekstam un argumentācijas režīmiem atkarībā no pakalpojumu sniedzēja var būt atšķirīga ekonomika. Izmaksu kontroles slānis, kas izprot modalitāti, var sniegt komandām precīzākus ierobežojumus un maršrutēšanas noteikumus nekā vispārējs pieprasījumu skaitītājs.

Izlaidums arī paplašina modeļu un pakalpojumu sniedzēju pārklājumu un pievieno identitāti apzinošas AI politikas. Kongas vietējā IAM autentifikācija Amazon Bedrock AgentCore ir īpaši svarīga, jo Bedrock AgentCore kļūst par vienu no vietām, kur uzņēmumi pārvalda un pārvalda aģentus. Vārtejas politikas savienošana ar mākoņa identitāti samazina plaisu starp mākslīgajam intelektam raksturīgajām vadīklām un piekļuves sistēmu uzņēmumiem, ko jau pārbauda.

Kāpēc tas ir svarīgi izstrādātājiem un platformu komandām

Izstrādātājiem praktiskā ietekme ir tāda, ka vārteja kļūst par lietojumprogrammas arhitektūras daļu, nevis tikai infrastruktūras papildinājumu. Komandai, kas veido iekšējo atbalsta aģentu, kodēšanas palīgu vai datu analīzes darbplūsmu, tagad var būt nepieciešami vārtejas noteikumi piekļuvei modelim, piekļuvei rīkiem, budžeta sliekšņiem un identitātes izplatīšanai, pirms lietotne sasniedz ražošanu.

Tas var palielināt iestatīšanas izmaksas, taču tas novērš arī reālu atteices režīmu. Ja nav koplietota vārtejas slāņa, modeļa atlase, nodrošinātāja akreditācijas dati, rīku atļaujas un tēriņu vadīklas mēdz izplatīties pa lietojumprogrammas kodu, CI noslēpumiem, SDK iesaiņojumiem un komandai raksturīgiem informācijas paneļiem. Šīs sadrumstalotības dēļ ir grūtāk izmeklēt incidentus un grūtāk veikt migrācijas modelēšanu.

Kong izlaišana ir arī signāls pārdevējiem, kuri veido ar OpenAI saderīgus API slāņus un vairāku modeļu API produktus. Saderība vien kļūst par galda likmēm. Klienti arvien vairāk sagaida pārvaldību saistībā ar pieprasījumu: politikas izpilde, lietojuma analīze, komandas līmeņa piekļuve, budžeta vadīklas, rezerves maršrutēšana un modeļa/pakalpojumu sniedzēja redzamība.

Model Gate lietotājiem savienojums ir tiešs. Vienotie norēķini, API atslēgas pārvaldība, lietojuma analīze un komandas vadīklas kļūst vērtīgākas, ja modeļa piekļuve ir tikai viena darbplūsmas daļa. Tā kā aģenti iegūst piekļuvi rīkiem, izmantojot MCP stila saskarnes, vārtejām būs jāatspoguļo ne tikai tas, kurš modelis tika izsaukts, bet arī iesaistītā komanda, atslēga, rīku komplekts un politikas konteksts.

Konkurences etalons mainās

Kong šajā virzienā nav viens. Nesenās izmaiņas tirgū liecina, ka AI infrastruktūras pārdevēji sadarbojas ar vienu un to pašu plašāku problēmu: uzņēmuma AI ir nepieciešams pārvaldīts ceļš starp lietotājiem, modeļiem, aģentiem, rīkiem un tēriņiem. Gateway produkti tiek vērtēti mazāk pēc tā, vai tie var normalizēt pieprasījumu formātus, un vairāk pēc tā, vai tie var atbalstīt ražošanas kontroli.

Tas liek pircējiem uzdot precīzākus jautājumus. Vai vārteja saprot pakalpojumu sniedzēja specifiskās cenas un modalitātes? Vai administratori var iestatīt politiku pēc komandas vai identitātes? Vai tas var maršrutēt starp pakalpojumu sniedzējiem, nezaudējot pārbaudāmību?Vai tas var pārvaldīt aģenta rīkus, nevis tikai modelēt galapunktus? Vai tas var atklāt lietojuma un izmaksu datus tādā veidā, kā to var izmantot finanses, drošība un inženierija?

Šie jautājumi vairs nav teorētiski. Gara konteksta modeļi, aģentu rīku izsaukumi un multimodālas darba slodzes var ātri mainīt izmaksu profilus. Darbplūsma, kas testēšanas laikā izskatās lēta, var kļūt dārga, kad ražošanā tiek ievadīts atkārtots konteksts, attēla ievade vai rīki saturošas aģentu cilpas. Vārteja, kas nevar atšķirt šos modeļus, joprojām var centralizēt piekļuvi, taču tā nesniegs operatoriem pietiekamu kontroli.

Kas joprojām ir neskaidrs

Paziņojumā ir noteikta vispārēja pieejamība un nosauktas galvenās iespējas, taču ieviešana reālajā pasaulē būs atkarīga no ieviešanas detaļām: kā komandas konfigurē MCP komplektus, cik detalizētas ir izmaksu politikas un programmatūras kontrole, cik identitāte ir. darbības redzamību klienti iegūst praksē.

Ir arī pāragri zināt, vai uzņēmumi standartizēs aģentu pārvaldību vienā AI vārtejā vai sadalīs atbildību starp mākoņa platformām, drošības rīkiem, izstrādātāju platformām un novērojamības piegādātājiem. AWS, mitināšanas platformas, IDE pārdevēji un atsevišķu vārtejas nodrošinātāji cenšas iegūt vienas un tās pašas vadības virsmas daļas.

Tomēr virziens ir skaidrs. Kong AI Gateway 2.0 AI trafiku uzskata par pārvaldītu uzņēmuma sistēmu, nevis modeļu zvanu plūsmu. Izstrādātājiem un uzņēmumiem, kas balstās uz modeļu API, tas nozīmē, ka vārtejas lēmumi kļūst par arhitektūras lēmumiem: tie ietekmē izmaksas, drošību, modeļa izvēli, piekļuvi rīkiem un aģentu darbplūsmu uzticamību.