Cloudflare, AI Gateway'in gösterişten uzak ancak önemli bir bölümünü değiştirdi: Yukarı akışlı bir AI sağlayıcısı müşteri kimlik bilgilerini reddettiğinde ne olur?
Cloudflare'in AI Gateway değişiklik günlüğüne göre, POST /ai/run artık bir sağlayıcı kimlik bilgilerini reddettiğinde daha tutarlı yanıtlar döndürüyor. En somut örnek Google Vertex'tir. Daha önce yukarı akış yeniden denemeleriyle HTTP 500 yanıtı üreten reddedilen Vertex kimlik bilgileri, artık Cloudflare hata kodu 2009 ile HTTP 401'i döndürüyor. Cloudflare, uygulamaların HTTP 401'i geçersiz veya reddedilen sağlayıcı kimlik bilgisi olarak yorumlaması gerektiğini söylüyor. Buna karşılık, Cloudflare tarafından yönetilen Birleşik Faturalandırmada sağlayıcının reddedilmesi HTTP 503.
Bu, dar kapsamlı bir hata sözleşmesi güncellemesine benziyor. Yapay zeka ağ geçitlerini işleten ekipler için bu, bundan daha fazlasıdır. Kötü bir sağlayıcı anahtarına, geçici bir altyapı hatası gibi davranılmamalıdır. Bu durumda uygulamalar başarılı olamayan işleri yeniden dener, yedek sistemler trafiği yanlış nedenle kaydırabilir ve müşteri destek ekipleri, kimlik doğrulama hatalarını, olay sonrasında sağlayıcının kararsızlığından ayırmak zorunda kalır.
Ağ geçidi sözleşmesinde neler değişti
Bu değişiklik, üretimde önemli olan bir ayrımı standartlaştırıyor: Arızayı kimin düzeltebileceği.
Kullanıcı kendi sağlayıcı anahtarını getirirse ve bu anahtar geçersizse, iptal edilmişse, süresi dolmuşsa, doğru proje izinleri eksikse veya sağlayıcı tarafından reddedilirse, müşteri veya platform yöneticisinin kimlik bilgilerini onarması gerekir. 401'i döndürmek bunu görünür kılar. Uygulamaya, kimlik doğrulamanın sağlayıcı sınırında başarısız olduğunu ve kör yeniden denemelerin işe yarama ihtimalinin düşük olduğunu bildirir.
Daha önce Cloudflare, en azından reddedilen Google Vertex kimlik bilgileri için hatanın HTTP 500 olarak ortaya çıkabileceğini ve yukarı akış yeniden denemelerini tetikleyebileceğini söylüyordu. 500 yanıtı genellikle sunucu tarafında bir arıza veya kendi kendine düzelebilecek bir yukarı akış sorunu anlamına gelir. Birçok istemci kitaplığı ve ağ geçidi sarmalayıcısı, bu hata sınıfının yeniden denenebilir olduğunu kabul eder. Yapay zeka trafiğinde, istekler uzun istemler, araç bağlamı veya yüksek hacimli toplu çalışma içerebileceğinden bu pahalı olabilir.
Yeni bölünme aynı zamanda Birleştirilmiş Faturalandırma davranışına da açıklık getiriyor. Cloudflare, Birleşik Faturalandırma altında sağlayıcı reddinin HTTP 503 ile eşleştiğini söylüyor. Bu, hatayı müşterinin kendi temel sorunu olarak sunmak yerine hizmet kullanılabilirliği ailesinde tutuyor. Hem kendi anahtarını getir hem de ağ geçidi üzerinden faturalandırılan trafiği destekleyen yazılımlar için bu ayrım, hem yeniden deneme kurallarını hem de kullanıcıya yönelik mesajları şekillendirmelidir.
BYOK ve bayi ürünleri için neden önemlidir?
Güncelleme, daha fazla yapay zeka platformunun, ağ geçidi üzerinden faturalandırılmış erişimi müşteri tarafından sağlanan kimlik bilgileriyle karıştırdığı bir pazara ulaşıyor. Ekipler için çok modelli API ağ geçidi, bir isteği bir platform hesabı aracılığıyla, diğerini müşterinin OpenAI anahtarı aracılığıyla ve üçüncüsünü kurumsal bir alıcı tarafından kontrol edilen bir Google Bulut projesi aracılığıyla yönlendirebilir. HTTP durum kodu genellikle bir şeyler ters gittiğinde kontrol düzleminin gördüğü ilk sinyaldir.
BYOK iş akışları için, sağlayıcı kimlik bilgilerinin reddedilmesinin 401 olarak değerlendirilmesi, daha temiz bir operasyonel yol sağlar. Kontrol paneli, bir kimlik bilgisini reddedildi olarak işaretleyebilir, yalnızca etkilenen rotayı duraklatabilir, hak sahibini bilgilendirebilir ve tekrar başarısız olacak bir istek için yeniden deneme bütçesinin harcanmasını önleyebilir. Aynı zamanda temel hijyeni model kullanılabilirliğinden ayırmaya da yardımcı olur. İptal edilen bir Vertex kimlik bilgisi, sağlayıcı kesintisi veya hız sınırı olayıyla aynı olay değildir.
Bayi ve iş ortağı platformlarında da benzer bir sorun var ancak bunun müşteriye yönelik sonuçları daha fazla. AI API bayi platformu, birçok alt müşteri için anahtarları, faturalandırma durumunu ve sağlayıcı rotalarını yönetebilir. Reddedilen kimlik bilgileri genel sunucu hatalarına benziyorsa destek ekipleri yanlış temel nedeni bildirebilir, daha pahalı bir yola geçiş yapabilir veya müşterinin yanlış yapılandırılmış kimlik bilgilerine atfedilmesi gereken maliyetleri karşılayabilir.
Dolayısıyla pratikteki değişiklik yalnızca hata ayrıştırmada değildir. Operatörler yeniden deneme politikalarını, uyarı etiketlerini, kontrol paneli kopyasını ve olay sınıflandırmasını yeniden gözden geçirmelidir. Ağ geçidi yolundan gelen bir 401, genellikle sağlayıcının otomatik yeniden denemelerini durdurmalı ve sorunu kimlik bilgisi düzeltmesine taşımalıdır. Yönetilen bir 503 faturalandırması, ürünün mimarisine bağlı olarak yine de sağlayıcı sağlığı kontrollerini, yük devretme mantığını veya durum sayfası olayını garanti edebilir.
Geliştiricilerin hangileri güncellemesi gerekiyor
Cloudflare AI Gateway kullanan geliştiriciler, geniş HTTP sınıfları aracılığıyla sağlayıcı hatalarını ele alan tüm istemci mantığını kontrol etmelidir. 401 yanıtları şu anda yalnızca ağ geçidi belirteci sorunları olarak ele alınıyorsa, bu kodun, uygulamanın Cloudflare kimlik bilgisi ile Cloudflare hata kodu 2009 tarafından temsil edilen yukarı akış sağlayıcı kimlik bilgisi arasında ayrım yapması gerekebilir.
Ekipler ayrıca yedek yönlendirmeyi de incelemelidir. Geri dönüş, sağlayıcı kullanılamadığında, aşırı yüklendiğinde veya gecikme hedefinin dışında olduğunda kullanışlıdır. Asıl arızanın müşteri kimlik bilgisi sorunu olması daha risklidir. Trafiğin reddedilen bir BYOK rotasından platform tarafından faturalandırılan bir rotaya otomatik olarak kaydırılması, beklenmedik ücretlendirmelere, politika ihlallerine veya veri işleme değişikliklerine neden olabilir. Birleşik AI API faturalandırma özelliğine sahip ürünlerin bu davranışı açıkça belirtmesi gerekir.
Destek araçlarının da daha hassas hale getirilmesi gerekiyor. Yararlı bir kontrol paneli durumu, bir sağlayıcının yapılandırılmış kimlik bilgilerini reddettiğini söyleyebilir, etkilenen sağlayıcı rotasını tanımlayabilir ve son başarısızlık zamanını gösterebilir. Bu, genel bir yukarı akış hatasından daha eyleme geçirilebilir. Kurumsal müşteriler için denetim günlükleri durum kodunu, sağlayıcıyı, kimlik bilgisi referansını ve yönlendirme kararını korumalıdır; böylece ekipler bir isteğin başarısız olup olmadığını, yeniden denenip denenmediğini veya başka bir faturalandırma yoluna taşınıp taşınmadığını açıklayabilir.
Belirsiz kalan şey
Cloudflare'in değişiklik günlüğü, Google Vertex'i belirli bir düzeltilmiş durum olarak tanımlar ve ElevenLabs'ı daha geniş sağlayıcı-kimlik bilgisi bağlamında adlandırır, ancak genel not, her sağlayıcının ve her olası kimlik bilgisi hatasının tam bir matrisi gibi okunmaz. Ağ geçidi operatörleri, tüm reddedilen anahtar senaryolarının artık aynı şekilde davrandığını varsaymak yerine güvendikleri sağlayıcıları test etmelidir.
AI Gateway üzerine kurulu platformlar için bir de ürün tasarımı sorusu var: Cloudflare'in hata sözlüğünün ne kadarı son müşterilere sunulmalı? Ham kodlar geliştiriciler için faydalıdır ancak bayi portalları genellikle "sağlayıcı kimlik bilgileri reddedildi" gibi, "ağ geçidi faturalandırması kullanılamıyor" veya "sağlayıcı geçici olarak kullanılamıyor" gibi, müşteriye yönelik daha dayanıklı bir kategoriye ihtiyaç duyar.
Daha büyük olan yön açıktır. Yapay zeka ağ geçitleri artık model çağrıları için basit geçişli proxy'ler değil. Bunlar politika ve faturalandırma kontrol düzlemleridir ve hata anlamlarındaki küçük farklılıklar, sistemin yeniden deneyip deneymeyeceğine, yük devredeceğine, müşteriden ücret alıp almayacağına veya yöneticiden sağlayıcı hesabını yeniden bağlamasını isteyip istemediğine karar verebilir.