Kong, basit LLM proxy'sinden modeller, aracılar, araçlar ve yapay zeka harcamaları için daha geniş bir kontrol düzlemine geçişte yeni bir adımı işaret ederek Kong AI Gateway 2.0'ı genel kullanıma sundu.

1 Eylül sürümü, halihazırda üretimdeki yapay zeka iş yüklerini çalıştıran ekipler için önemli olan çeşitli özellikler getiriyor: Yönetilen araç erişimi için MCP Sunucu Paketleme, farklı yöntemleri hesaba katan dinamik maliyet yönetimi, daha geniş model ve sağlayıcı kapsamı, kimliğe duyarlı yapay zeka politikaları ve Amazon Bedrock için yerel IAM kimlik doğrulaması AgentCore. Kong ayrıca ürünün artık Kong Konnect'te beta etkinleştirmesi olmadan kullanılabileceğini söylüyor.

Bu kombinasyon yeni bir haber. Yapay zeka ağ geçidi kategorisi artık yalnızca OpenAI tarzı bir isteğin alınması, bunu bir sağlayıcıya iletilmesi ve yanıtın günlüğe kaydedilmesiyle ilgili değil. Kurumsal alıcılar, kimin hangi modeli arayabileceğine, bir aracının hangi araçlara erişebileceğine, harcamanın nasıl ölçüleceğine ve bu kararların işletme tarafından halihazırda kullanılan kimlik sistemleriyle nasıl eşleşeceğine karar vermesi için ağ geçidinin giderek daha fazla olmasını istiyor.

Kong AI Gateway 2.0'da değişen şey

En dikkate değer ekleme, MCP Sunucu Paketlemesidir. MCP veya Model Bağlam Protokolü, araçları ve kaynakları yapay zeka aracılarına sunmanın yaygın bir yolu haline geldi. MCP sunucularının ağ geçidi katmanında paketlenmesi, her uygulama ekibinin kendi aracı entegrasyonlarını kablolama ve denetleme görevine bırakması yerine, platform ekiplerine bu araç bağlantılarını toplayıp yönetebilecekleri bir yer sağlar.

Bu anlamlı bir ürün yönüdür. Temsilciler demolardan dahili iş akışlarına geçtikçe, modelin bir soruyu kötü yanıtlaması riski azalırken, modelin çok az gözetimle çok fazla araca bağlanması riski artar. MCP erişimini paketleyebilen ve kontrol edebilen bir ağ geçidi, operasyonel soruna daha yakındır: Hangi aracılar hangi sistemlere, kimin kimliği altında ve hangi politika sınırlarıyla erişebilir.

Kong ayrıca dinamik modaliteye duyarlı maliyet yönetimini de ekledi. Bu önemlidir çünkü AI fiyatlandırması artık tek bir token ölçer değildir. Metin, resim, ses, video, araç çağrıları, önbelleğe alınmış bağlam ve akıl yürütme modlarının her biri, sağlayıcıya bağlı olarak farklı ekonomiler taşıyabilir. Modaliteyi anlayan bir maliyet kontrol katmanı, ekiplere genel bir istek sayacından daha doğru sınırlar ve yönlendirme kuralları sağlayabilir.

Sürüm aynı zamanda model ve sağlayıcı kapsamını da genişletiyor ve kimliğe duyarlı yapay zeka politikaları ekliyor. Kong'un Amazon Bedrock AgentCore için yerel IAM kimlik doğrulaması özellikle önemlidir çünkü Bedrock AgentCore, kuruluşların aracıları çalıştırdığı ve yönettiği yerlerden biri haline gelmektedir. Ağ geçidi politikasını bulut kimliğine bağlamak, yapay zekaya özgü kontroller ile şirketlerin halihazırda denetlediği erişim sistemleri arasındaki boşluğu azaltır.

Bu, geliştiriciler ve platform ekipleri için neden önemlidir?

Geliştiriciler için bunun pratik etkisi, ağ geçidinin yalnızca bir altyapı eklentisi değil, uygulama mimarisinin bir parçası haline gelmesidir. Dahili bir destek aracısı, kodlama asistanı veya veri analizi iş akışı oluşturan bir ekip, artık uygulama üretime geçmeden önce model erişimi, araç erişimi, bütçe eşikleri ve kimlik yayılımı için ağ geçidi kurallarına ihtiyaç duyabilir.

Bu, bir miktar kurulum maliyeti getirebilir ancak aynı zamanda gerçek bir hata modunu da ortadan kaldırır. Paylaşılan bir ağ geçidi katmanı olmadan, model seçimi, sağlayıcı kimlik bilgileri, araç izinleri ve harcama kontrolleri uygulama koduna, CI gizli dizilerine, SDK paketleyicilerine ve ekibe özel kontrol panellerine yayılma eğilimindedir. Bu parçalanma, olayların araştırılmasını ve model geçişlerinin yürütülmesini zorlaştırıyor.

Kong'un piyasaya sürülmesi aynı zamanda OpenAI uyumlu API katmanları ve çok modelli API ürünleri geliştiren satıcılar için de bir sinyaldir. Uyumluluk tek başına önemli bir konu haline geliyor. Müşteriler giderek daha fazla istek etrafında yönetişim bekliyor: politika uygulama, kullanım analitiği, ekip düzeyinde erişim, bütçe kontrolleri, geri dönüş yönlendirme ve model/sağlayıcı görünürlüğü.

Model Gate kullanıcıları için bağlantı doğrudandır. Birleşik faturalandırma, API anahtarı yönetimi, kullanım analitiği ve ekip kontrollerinin tümü, model erişimi iş akışının yalnızca bir parçası olduğunda daha değerli hale gelir. Aracılar, MCP tarzı arayüzler aracılığıyla araca erişim kazandıkça, ağ geçitlerinin yalnızca hangi modelin çağrıldığını değil aynı zamanda hangi ekibin, anahtarın, araç paketinin ve politika bağlamının dahil olduğunu da temsil etmesi gerekecek.

Rekabet ölçütü değişiyor

Kong bu yönde yalnız değil. Piyasadaki son hamleler, yapay zeka altyapısı tedarikçilerinin aynı daha geniş sorun üzerinde birleştiğini gösteriyor: Kurumsal yapay zekanın kullanıcılar, modeller, aracılar, araçlar ve harcamalar arasında yönetilen bir yola ihtiyacı var. Gateway ürünleri, istek formatlarını normalleştirip normalleştiremeyeceklerine göre değil, üretim kontrollerini destekleyip destekleyemeyeceklerine göre değerlendiriliyor.

Bu, alıcılar üzerinde daha keskin sorular sorma baskısı yaratıyor. Ağ geçidi, sağlayıcıya özel fiyatlandırma ve yöntemleri anlıyor mu? Yöneticiler politikayı ekibe veya kimliğe göre belirleyebilir mi? Denetlenebilirliği kaybetmeden sağlayıcılar arasında yönlendirme yapabilir mi?Yalnızca model uç noktalarını değil, aracı araçlarını da yönetebilir mi? Kullanım ve maliyet verilerini finans, güvenlik ve mühendisliğin kullanabileceği şekilde ortaya çıkarabilir mi?

Bu sorular artık teorik değil. Uzun bağlamlı modeller, aracı araç çağrıları ve çok modlu iş yükleri, maliyet profillerini hızlı bir şekilde değiştirebilir. Test sırasında ucuz görünen bir iş akışı, tekrarlanan bağlam, görüntü girişleri veya araç ağırlıklı aracı döngüleri üretime girdiğinde pahalı hale gelebilir. Bu kalıpları ayırt edemeyen bir ağ geçidi, erişimi yine de merkezileştirebilir ancak operatörlere yeterince kontrol sağlamaz.

Belirsiz kalan şey

Duyuru, genel kullanılabilirliği belirler ve temel yetenekleri adlandırır, ancak gerçek dünyada benimsenme, uygulama ayrıntılarına bağlı olacaktır: ekiplerin MCP paketlerini nasıl yapılandırdığı, kimliğe duyarlı politikaların ne kadar ayrıntılı olduğu, karma sağlayıcılar arasında maliyet kontrollerinin nasıl davrandığı ve müşterilerin uygulamada ne kadar operasyonel görünürlük elde edeceği.

Kurumların aracı yönetimini standartlaştırıp standartlaştıramayacağını bilmek için de henüz çok erken. Tek bir yapay zeka ağ geçidinde veya sorumluluğu bulut platformları, güvenlik araçları, geliştirici platformları ve gözlemlenebilirlik sağlayıcıları arasında paylaştırın. AWS, barındırma platformları, IDE satıcıları ve bağımsız ağ geçidi sağlayıcılarının tümü aynı kontrol yüzeyinin bazı bölümlerine sahip olmaya çalışıyor.

Yine de yön açık. Kong AI Gateway 2.0, AI trafiğini model çağrıları akışı yerine yönetilen bir kurumsal sistem olarak ele alır. Model API'leri kullanan geliştiriciler ve işletmeler için bu, ağ geçidi kararlarının mimari kararlara dönüştüğü anlamına gelir: Maliyeti, güvenliği, model seçimini, araç erişimini ve aracı iş akışlarının güvenilirliğini etkiler.