Kong on muutnud Kong AI Gateway 2.0 üldiselt kättesaadavaks, tähistades järjekordset sammu üleminekul lihtsalt LLM-i puhverserverilt mudelite, agentide, tööriistade ja tehisintellekti kulutuste laiema juhtimistasandi poole.

1. septembri väljalase pakub mitmeid funktsioone, mis on olulised juba tootmis-AI-töökoormust kasutavatele meeskondadele: MCP-serveri komplekteerimine juhitud tööriistade ja teenuste pakkujate jaoks, laiem kulude haldamine, laiem kulude haldamine. identiteediteadlikud AI-poliitikad ja natiivne IAM-autentimine Amazon Bedrock AgentCore'i jaoks. Kong ütleb ka, et toode on nüüd Kong Konnectis saadaval ilma beetaversiooni lubamiseta.

See kombinatsioon on uudis. AI lüüsi kategooria ei seisne enam ainult OpenAI-stiilis päringu vastuvõtmises, teenusepakkujale edastamises ja vastuse logimises. Ettevõtlusostjad soovivad üha enam, et värav otsustaks, kes millisele mudelile helistada saab, milliste tööriistadeni agent võib jõuda, kuidas kulutusi mõõta ja kuidas need otsused vastavad ettevõttes juba kasutatavatele identiteedisüsteemidele.

Mis muutus Kong AI Gateway 2.0-s

Kõige tähelepanuväärsem täiendus on MCP-serveri komplekteerimine. MCP ehk Model Context Protocol on muutunud tavaliseks viisiks tööriistade ja ressursside paljastamiseks tehisintellekti agentidele. MCP-serverite komplekteerimine lüüsikihis annab platvormimeeskondadele koha nende tööriistaühenduste koondamiseks ja haldamiseks, selle asemel, et jätta iga rakendusmeeskond oma agentide integratsiooni juhtima ja kontrollima.

See on mõttekas tootesuund. Kuna agendid liiguvad demodelt sisemistele töövoogudele, on risk vähem selles, et mudel vastab ühele küsimusele halvasti, vaid pigem selles, et mudel on liiga paljude tööriistadega ühendatud liiga vähese järelevalvega. Lüüs, mis suudab MCP-juurdepääsu pakendada ja juhtida, on tööprobleemile lähemal: millised agendid võivad jõuda millistesse süsteemidesse, kelle identiteedi all ja milliste poliitikapiiridega.

Kong lisas ka dünaamilise modaalsusteadliku kulude haldamise. See on oluline, sest tehisintellekti hinnakujundus ei ole enam üks märgimõõtja. Tekst, pilt, heli, video, tööriistakutsed, vahemällu salvestatud kontekst ja arutlusrežiimid võivad olenevalt teenusepakkujast omada erinevat majanduslikku laadi. Kulude kontrolli kiht, mis mõistab modaalsust, võib anda meeskondadele täpsemad piirangud ja marsruutimisreeglid kui üldine päringuloendur.

Väljaanne laiendab ka mudeli ja pakkuja katvust ning lisab identiteedipõhiseid tehisintellekti põhimõtteid. Kongi omapärane IAM-autentimine Amazon Bedrock AgentCore'i jaoks on eriti asjakohane, kuna Bedrock AgentCore'ist on saamas üks kohti, kus ettevõtted agente juhivad ja haldavad. Lüüsipoliitika ühendamine pilvidentiteediga vähendab lõhet AI-spetsiifiliste juhtelementide ja juurdepääsusüsteemide vahel, mida ettevõtted juba auditeerivad.

Miks on see arendajatele ja platvormimeeskondadele oluline

Arendajate jaoks on praktiline mõju see, et lüüsist on saamas rakenduse arhitektuuri osa, mitte ainult infrastruktuuri lisand. Sisemist tugiagenti, kodeerimisabilist või andmeanalüüsi töövoogu koostav meeskond võib nüüd vajada lüüsireegleid mudelile juurdepääsuks, tööriistadele juurdepääsuks, eelarvelävedeks ja identiteedi levitamiseks, enne kui rakendus jõuab tootmisse.

See võib lisada mõningaid seadistuskulusid, kuid tegeleb ka tõelise tõrkerežiimiga. Jagatud lüüsikihita kipuvad mudelivalik, pakkuja mandaadid, tööriista load ja kulukontrollid levima rakenduse koodi, CI saladuste, SDK ümbriste ja meeskonnapõhiste armatuurlaudade vahel. See killustatus muudab intsidentide uurimise ja migratsiooni modelleerimise raskemaks.

Kongi väljalase on signaal ka OpenAI-ga ühilduvaid API kihte ja mitme mudeliga API tooteid loovatele tarnijatele. Ainuüksi ühilduvus muutub lauapanusteks. Kliendid ootavad järjest enam taotlusega seotud juhtimist: poliitika jõustamine, kasutusanalüütika, meeskonnatasemel juurdepääs, eelarve juhtelemendid, varumarsruutimine ja mudeli/teenusepakkuja nähtavus.

Model Gate'i kasutajate jaoks on ühendus otsene. Ühtne arveldamine, API-võtme haldus, kasutusanalüütika ja meeskonna juhtelemendid muutuvad väärtuslikumaks, kui mudelile juurdepääs on vaid üks osa töövoost. Kuna agendid saavad tööriistadele juurdepääsu MCP-tüüpi liideste kaudu, peavad lüüsid näitama mitte ainult seda, millist mudelit kutsuti, vaid ka seda, millist meeskonda, võtit, tööriistakomplekti ja poliitika konteksti kaasati.

Konkurentsi võrdlusalus on muutumas

Kong ei ole selles suunas üksi. Hiljutised liikumised turul näitavad, et tehisintellekti taristu müüjad lähenevad samale laiemale probleemile: ettevõtte AI vajab juhitud teed kasutajate, mudelite, agentide, tööriistade ja kulutuste vahel. Gateway tooteid hinnatakse vähem selle järgi, kas need suudavad normaliseerida päringuvorminguid, vaid pigem selle järgi, kas need toetavad tootmiskontrolli.

See avaldab ostjatele survet teravamaid küsimusi esitada. Kas lüüs mõistab teenusepakkujapõhist hinnakujundust ja tingimusi? Kas administraatorid saavad määrata eeskirjad meeskonna või identiteedi alusel? Kas see saab marsruutida teenusepakkujate vahel ilma kontrollitavust kaotamata?Kas see saab juhtida agenditööriistu, mitte ainult modelleerida lõpp-punkte? Kas see võib avaldada kasutus- ja kuluandmeid viisil, mida rahandus, turvalisus ja inseneritöö saavad kasutada?

Need küsimused pole enam teoreetilised. Pika kontekstiga mudelid, agenditööriistade kõned ja multimodaalsed töökoormused võivad kuluprofiile kiiresti muuta. Testimise ajal odavalt näiv töövoog võib muutuda kulukaks, kui tootmisse sisenevad korduvad kontekstid, kujutise sisendid või tööriistarohked agenditsüklid. Lüüs, mis ei suuda neid mustreid eristada, võib siiski juurdepääsu tsentraliseerida, kuid see ei anna operaatoritele piisavalt kontrolli.

Mis jääb ebakindlaks

Teatega määratakse üldine kättesaadavus ja nimetatakse peamised võimalused, kuid tegelik kasutuselevõtt sõltub juurutamise üksikasjadest: kuidas meeskonnad konfigureerivad MCP-pakette, kui palju on kulupoliitikaid ja kui palju on kontrollvara, kui palju identiteeti on kontrollitud. operatiivse nähtavuse saavad kliendid praktikas.

Samuti on liiga vara teada, kas ettevõtted standardiseerivad agentide juhtimist ühes AI-lüüsis või jagavad vastutuse pilvplatvormide, turbetööriistade, arendajaplatvormide ja jälgitavuse tarnijate vahel. AWS, hostimisplatvormid, IDE müüjad ja eraldiseisvad lüüsi pakkujad püüavad kõik omada sama juhtpinna osi.

Siiski on suund selge. Kong AI Gateway 2.0 käsitleb tehisintellekti liiklust pigem juhitud ettevõtte süsteemina kui mudelkõnede voona. Mudel-API-dele tuginevate arendajate ja ettevõtete jaoks tähendab see, et lüüsiotsused muutuvad arhitektuuriotsusteks: need mõjutavad kulusid, turvalisust, mudelivalikut, juurdepääsu tööriistadele ja agendi töövoogude usaldusväärsust.