Cloudflare, AI Gateway'e Otomatik Yönlendiriciyi ekleyerek geliştiricilere, beklenen yanıt kalitesini belirteç maliyetiyle dengeleyerek AI isteklerini yönlendirmek için yönetilen bir yol sunuyor. Şirket, iş için en uygun modeli düşündüğünü seçmeden önce uçta konuşlandırılmış bir sınıflandırıcıyla istek karmaşıklığını değerlendiren bir sistemi açıklayan güncellemeyi 30 Eylül'de yayınladı.
Değişiklik yalnızca başka bir sağlayıcı entegrasyonu değildir. AI Gateway'i model seçimi için bir politika motoruna yaklaştırır: geliştirici ağ geçidine bir istek gönderir ve ağ geçidi hangi modelin kendisine hizmet vermesi gerektiğine karar verebilir. Bu, yönlendirme mantığını, uygulama tarafındaki bir anahtar ifadesi veya statik model tercihi yerine birinci dereceden bir ürün özelliği haline getirir.
Faturalandırmayı, günlükleri ve API anahtarlarını birleştirmek için halihazırda ağ geçitleri kullanan ekipler için pratik soru, "hangi modeli çağırdık?" şeklinde değişir. "Ağ geçidi bu istek için neden bu modeli seçti?"
Ne değişti
Cloudflare, Otomatik Yönlendiricinin isteğin karmaşıklığını değerlendirmek için uçta konuşlandırılmış bir sınıflandırıcı kullandığını söylüyor. Daha sonra beklenen çıktı kalitesini token maliyetlerine göre tartarak bir model seçer. Başka bir deyişle, ağ geçidi artık geliştiricinin açık model seçimini iletmekle veya bir hata sonrasında basit geri dönüş kurallarını uygulamakla sınırlı değil.
Bu önemlidir, çünkü model seçimi birçok ekibin manuel olarak yönetemeyeceği kadar ayrıntılı hale gelmiştir. Bir destek sohbet robotu, kodlama asistanı veya belge iş akışı, aynı üründe basit çıkarma görevlerini, belirsiz akıl yürütme istemlerini, uzun bağlam isteklerini ve gecikmeye duyarlı etkileşimleri işleyebilir. Tüm bu isteklerin en yetenekli modele gönderilmesi bütçe israfına neden olabilir. Hepsini daha ucuz bir modele göndermek yanıt kalitesine zarar verebilir. Otomatik yönlendirme, orta yolu çalışır hale getirmeye çalışır.
Desteklenen sağlayıcı ve model kümesinin tamamı hesap, plan ve kullanıma sunma durumuna göre değişiklik gösterebilir; bu nedenle alıcılar, AI Gateway aracılığıyla kullanılabilen her modelin otomatik olarak Auto Router'ın parçası olduğunu varsaymamalıdır. Yine de yön açık: Ağ geçitleri yalnızca katalog genişliği açısından değil, karar kalitesi açısından da rekabet etmeye başlıyor.
Ağ geçitleri neden yönlendirme sistemleri haline geliyor
Yakın zamana kadar, AI ağ geçidi konuşmalarının çoğu tanıdık platform sorunlarına odaklanıyordu: birleştirilmiş faturalar, sağlayıcı kimlik bilgileri, hız sınırları, günlük kaydı ve API uyumluluğu. Bunlar hâlâ gerekli, ancak daha zor bir operasyonel soruna yanıt vermiyorlar: Fiyatlar, performans ve yetenekler sürekli değişirken bir şirket her istek için doğru modeli nasıl seçmelidir?
Bu ortamda statik yönlendirme kırılgandır. Bir ekip güvenlik için bir modeli sabitleyebilir ancak daha sonra rutin işler için daha ucuz seçenekleri kaçırır. Kendi yönlendirme katmanını oluşturabilir ancak bu, uygulamaya kıyaslama, hızlı sınıflandırma, maliyet tabloları, gözlemlenebilirlik ve geri alma mantığı ekler. Ağ geçidi düzeyindeki bir yönlendirici bu mantığı merkezileştirir ve en azından prensipte bunu ekipler, ürünler ve müşteri kiracıları arasında tutarlı bir şekilde uygulayabilir.
Bunun herhangi bir multi-provider LLM API ağ geçidi için doğrudan etkileri vardır. Yönlendirme artık yalnızca bir kesinti sonrasında yük devretme anlamına gelmiyor. Bu, ön talep sınıflandırması, maliyet-kalite optimizasyonu, müşteriye özel politikalar ve belirli bir modelin belirli bir işi neden ele aldığını açıklayan bir denetim takibi anlamına geliyor.
Cloudflare, pazarı bu yöne iten tek kişi değil. OpenRouter ayrıca kaliteyi, hızı ve maliyeti ölçen bir endeksle yönlendirici kalitesini kıyaslanabilecek bir şey olarak sunmaya başladı. Bu hamleler, yönlendirici performansının satıcı değerlendirmesinin bir parçası haline geleceğini gösteriyor. Alıcılar, yönlendirme kararlarının nasıl alındığını, ağırlıkları ayarlayıp ayarlayamayacaklarını ve sonuçları kendi iş yüklerine göre nasıl doğrulayabileceklerini soracaktır.
Model daha sonra seçildiğinde faturalandırma zorlaşır
Otomatik yönlendirme aynı zamanda faturalandırma beklentilerini de karmaşık hale getirir. Bir geliştirici varsayılan bir model belirtirse ancak ağ geçidi farklı bir model sunuyorsa maliyet ilişkilendirmesinin kesin olması gerekir.Müşterinin, isteği gerçekte hangi modelin yerine getirdiğini, maliyetini ve bu rotanın kalite, fiyat, gecikme veya politika nedeniyle mi seçildiğini bilmesi gerekir.
Bu, özellikle bayiler ve iş ortağı platformları için önemlidir. AI erişimini alt müşterilere sunan bir platform, istikrarlı planların veya marjların reklamını yapabilir, ancak dinamik yönlendirme, temel sağlayıcı karışımını değiştirebilir. Açık günlükler ve müşteriye yönelik kullanım raporları olmadan, daha ucuz bir rota tutarsız bir davranış gibi görünebilir ve daha pahalı bir rota, bariz bir açıklama olmadan marjları aşındırabilir.
İşte bu noktada birleşik AI API faturalandırma'nın aylık toplamın ötesine geçmesi gerekir. Ekiplerin istek düzeyinde model kimliğine, belirteç sayımlarına, yönlendirme neden kodlarına ve politika sürümü oluşturmaya ihtiyacı vardır. Bir yönlendirici karar sınırını değiştirirse, finans ve mühendisliğin harcamanın trafikten mi, fiyatlandırmadan mı, model kullanılabilirliğinden mi, yoksa yönlendiricinin kendisinden mi kaynaklandığını anlaması gerekir.
Aynı sorun yazılım ekipleri içinde de geçerlidir. Bir departman premium modellere diğerine göre daha sık yönlendiriliyorsa, yöneticiler bunun meşru görev karmaşıklığını mı yoksa verimsiz kullanım kalıplarını mı yansıttığını bilmek isteyecektir. Ağ geçidi, her isteğin maliyet profilini aktif olarak seçtiğinde, yalnızca bir anahtara veya hesap toplamına dayalı harcama kontrolleri yeterli olmayacaktır.
Geliştiriciler ve işletmelerin kontrol etmesi gerekenler
Otomatik Yönlendiriciyi düşünen geliştiriciler, bunu sihirli bir varsayılan olarak değil, değerlendirilmesi gereken bir altyapı olarak ele almalıdır. İlk kontrol iş yüküne uygunluğudur. Sınıflandırma, özetleme, çıkarma ve kısa destek yanıtları, tutarlılık ve incelenebilirliğin daha önemli olduğu yüksek riskli yasal, tıbbi, güvenlik veya üretim kodu oluşturma görevlerine göre maliyet bilinçli yönlendirmeden daha erken faydalanabilir.
İkinci kontrol, geçersiz kılma kontrolüdür. Ekipler, bir istek için belirli bir modeli zorlayıp zorlamayacaklarını, modelleri yönlendirme havuzundan hariç tutabileceklerini, maksimum maliyet tavanları belirleyip belirleyemeyeceklerini veya yönlendirme politikalarını ortama göre ayırabileceklerini bilmelidir. Geliştirme, dahili araçlar ve müşteriye yönelik üretim trafiği nadiren aynı yönlendirme davranışına ihtiyaç duyar.
Üçüncü kontrol gözlemlenebilirliktir. Yararlı bir yönlendirici, seçilen modeli, mevcut alternatifleri, ölçülen veya tahmin edilen maliyeti ve beklenmedik seçimlerdeki hataları ayıklamak için yeterli bağlamı ortaya çıkarmalıdır. Geliştirici ekiplerine yönelik AI API kontrol düzleminde bu bilgiler yönetimin bir parçası haline gelir. Olay incelemesini, bütçe uygulamasını, uyumluluk kontrollerini ve ürün düzeyinde kalite analizini destekler.
Hala açık sorular var. Cloudflare'in genel özeti, model havuzunu, kullanıma sunma sınırlarını, ayrıntılı sınıflandırıcı davranışını veya müşterilerin ne kadar karar açıklaması alacağını tam olarak tanımlamaz. Auto Router'ı değerlendirmenin doğru yolu, genel kıyaslama iddialarına değil, üretim izlerine bağlı olacaktır. Ekipler, kendi istemlerini, gecikme gereksinimlerini ve başarısızlık kriterlerini kullanarak yönlendirilen çıktıyı sabitlenmiş model temel çizgileriyle karşılaştırmalıdır.
Bu uyarılara rağmen, lansman anlamlı bir işarettir. Cloudflare, maliyete duyarlı model seçimini yerel bir ağ geçidi özelliği haline getiriyor. Bu, Model Gate dahil olmak üzere tüm ağ geçidi sağlayıcıları için çıtayı yükseltiyor; çünkü müşteriler giderek daha fazla yapılandırılabilir, açıklanabilir ve faturalandırma ve analizlere temiz bir şekilde bağlanan yönlendirme politikaları bekleyecek. Model kataloğu yalnızca başlangıç noktası haline geliyor. Hangi modelin kullanılacağına kimin karar vereceği ve bu kararın nasıl yönetileceği daha stratejik sorudur.