Kong je naredil Kong AI Gateway 2.0 splošno dostopen, kar označuje še en korak pri prehodu s preprostega LLM proxyja na širšo nadzorno ravnino za modele, agente, orodja in porabo umetne inteligence.

Izdaja 1. septembra prinaša več funkcij, ki so pomembne za ekipe, ki že izvajajo produkcijske delovne obremenitve umetne inteligence: MCP Server Bundling za nadzorovan dostop do orodja, dinamično upravljanje stroškov, ki upošteva različne modalitete, širši model in ponudnika pokritost, politike umetne inteligence, ki se zavedajo identitete, in izvorno preverjanje pristnosti IAM za Amazon Bedrock AgentCore. Kong tudi pravi, da je izdelek zdaj na voljo v Kong Konnectu brez omogočene različice beta.

Ta kombinacija je novica. Kategorija prehodov umetne inteligence ne zajema več samo sprejemanja zahtev v slogu OpenAI, posredovanja do ponudnika in beleženja odgovora. Podjetniški kupci vedno bolj želijo, da prehod odloča, kdo lahko pokliče kateri model, do katerih orodij lahko pride agent, kako naj se meri poraba in kako se te odločitve preslikajo v sisteme identitete, ki jih podjetje že uporablja.

Kaj se je spremenilo v Kong AI Gateway 2.0

Najpomembnejši dodatek je MCP Server Bundling. MCP ali Model Context Protocol je postal običajen način za izpostavljanje orodij in virov agentom AI. Združevanje strežnikov MCP na prehodnem sloju daje ekipam platform prostor za združevanje in upravljanje povezav orodij, namesto da bi vsaki aplikacijski ekipi prepustili povezovanje in nadzor lastnih integracij agentov.

To je smiselna usmeritev izdelka. Ko agenti prehajajo iz predstavitev v notranje poteke dela, je tveganje manjše v tem, da bo model slabo odgovoril na eno vprašanje, bolj pa v tem, da je model povezan s preveč orodji s premalo nadzora. Prehod, ki lahko zapakira in nadzira dostop do MCP, je bližje operativnemu problemu: kateri agenti lahko dosežejo katere sisteme, pod čigavo identiteto in s kakšnimi mejami politike.

Kong je dodal tudi dinamično upravljanje stroškov, ki upošteva modalnosti. To je pomembno, ker določanje cen AI ni več merilnik z enim žetonom. Besedilni, slikovni, avdio, video, klici orodij, predpomnjeni kontekst in načini sklepanja imajo lahko različne ekonomičnosti, odvisno od ponudnika. Plast nadzora stroškov, ki razume modalnost, lahko ekipam ponudi natančnejše omejitve in pravila usmerjanja kot generični števec zahtev.

Izdaja prav tako razširja pokritost modela in ponudnika ter dodaja politike umetne inteligence, ki upoštevajo identiteto. Kongovo izvorno preverjanje pristnosti IAM za Amazon Bedrock AgentCore je še posebej pomembno, ker Bedrock AgentCore postaja eno od mest, kjer podjetja izvajajo in upravljajo agente. Povezovanje politike prehodov z identiteto v oblaku zmanjšuje vrzel med kontrolami, specifičnimi za AI, in sistemi dostopa, ki jih podjetja že revidirajo.

Zakaj je to pomembno za razvijalce in skupine platforme

Za razvijalce je praktičen učinek, da prehod postaja del arhitekture aplikacije in ne le infrastrukturni dodatek. Ekipa, ki gradi internega podpornega agenta, pomočnika za kodiranje ali potek dela za analizo podatkov, bo morda zdaj potrebovala pravila prehoda za dostop do modela, dostop do orodij, proračunske pragove in širjenje identitete, preden aplikacija doseže produkcijo.

To lahko poveča stroške namestitve, vendar obravnava tudi pravi način napake. Brez sloja prehoda v skupni rabi se izbira modela, poverilnice ponudnika, dovoljenja za orodje in nadzor porabe običajno razširijo po kodi aplikacije, skrivnostih CI, ovojih SDK in nadzornih ploščah, specifičnih za ekipo. Zaradi te razdrobljenosti je težje preiskati incidente in težje izvesti migracije modelov.

Kongova izdaja je tudi signal za prodajalce, ki gradijo plasti API-ja, združljive z OpenAI, in izdelke API-ja z več modeli. Samo združljivost postaja vložek na mizo. Stranke vedno bolj pričakujejo upravljanje v zvezi z zahtevo: uveljavljanje pravilnika, analitika uporabe, dostop na ravni ekipe, nadzor proračuna, nadomestno usmerjanje in vidnost modela/ponudnika.

Za uporabnike Model Gate je povezava neposredna. Poenoteno obračunavanje, upravljanje ključev API-ja, analitika uporabe in timski nadzor postanejo bolj dragoceni, ko je dostop do modela le en del delovnega toka. Ko bodo agenti pridobili dostop do orodij prek vmesnikov v slogu MCP, bodo morali prehodi predstavljati ne samo, kateri model je bil poklican, ampak tudi, katera ekipa, ključ, sveženj orodij in kontekst politike so bili vključeni.

Konkurenčno merilo uspešnosti se spreminja

Kong ni edini v tej smeri. Nedavni premiki po trgu kažejo, da se prodajalci infrastrukture umetne inteligence zbližujejo pri istem širšem problemu: umetna inteligenca podjetja potrebuje urejeno pot med uporabniki, modeli, agenti, orodji in porabo. Izdelke Gateway ocenjujejo manj po tem, ali lahko normalizirajo formate zahtev, in bolj po tem, ali lahko podpirajo nadzor proizvodnje.

To pritiska na kupce, da postavljajo ostrejša vprašanja. Ali prehod razume cene in načine, specifične za ponudnika? Ali lahko skrbniki nastavijo politiko glede na ekipo ali identiteto? Ali lahko usmerja med ponudniki, ne da bi pri tem izgubil revidabilnost?Ali lahko upravlja z orodji agentov, ne le z modeliranjem končnih točk? Ali lahko razkrije podatke o uporabi in stroških na način, ki ga lahko uporabljajo finance, varnost in inženiring?

Ta vprašanja niso več teoretična. Modeli z dolgim ​​kontekstom, klici agentskih orodij in multimodalne delovne obremenitve lahko hitro spremenijo profile stroškov. Delovni tok, ki je med testiranjem videti poceni, lahko postane drag, ko v produkcijo vstopijo ponavljajoči se konteksti, vnosi slik ali zanke agentov, ki vsebujejo veliko orodij. Prehod, ki ne more razločiti teh vzorcev, lahko še vedno centralizira dostop, vendar operaterjem ne bo dal dovolj nadzora.

Kaj ostaja negotovo

Objava vzpostavlja splošno razpoložljivost in imenuje ključne zmogljivosti, vendar bo sprejetje v resničnem svetu odvisno od podrobnosti implementacije: kako ekipe konfigurirajo pakete MCP, kako razdrobljeni so pravilniki, ki se zavedajo identitete, kako se nadzor stroškov obnaša pri mešanih ponudnikih in koliko operativno vidljivost, ki jo stranke dobijo v praksi.

Prav tako je še prezgodaj, da bi vedeli, ali bodo podjetja standardizirala upravljanje agentov v enem samem prehodu AI ali razdelila odgovornost med platforme v oblaku, varnostna orodja, platforme za razvijalce in prodajalce možnosti opazovanja. AWS, platforme za gostovanje, ponudniki IDE in samostojni ponudniki prehodov si vsi prizadevajo imeti dele iste nadzorne površine.

Kljub temu je smer jasna. Kong AI Gateway 2.0 promet AI obravnava kot upravljan sistem podjetja in ne kot tok modelnih klicev. Za razvijalce in podjetja, ki gradijo na API-jih modelov, to pomeni, da odločitve o prehodih postajajo odločitve o arhitekturi: vplivajo na stroške, varnost, izbiro modela, dostop do orodij in zanesljivost delovnih tokov agentov.