Cloudflare AI Gateway, müşterilerin uygulamalar tarafından kullanılan tek bir adın arkasına bir model havuzu yerleştirmesine olanak tanıyan model takma adları ekledi. Bir takma ad, sıralı bir geri dönüş politikası veya akıllı yönlendirme uygulayabilir; istemciler ise takma adı, ağ geçidinin REST API.

'i aracılığıyla model adı olarak gönderir.

Pratik değişiklik, uygulama isteklerinin model tanımlayıcısı ile isteği nihai olarak işleyen model arasındaki ayrımdır. Ağ geçidi operatörleri, takma adı kullanan her istemciyi yeniden dağıtmadan havuzu, yönlendirme politikasını veya temel modelleri değiştirebilir. Cloudflare, takma adların kapsamının bireysel ağ geçitlerine göre belirlendiğini söylüyor.

Bu, modelleri yeniden adlandırma kolaylığından çok daha fazlasıdır. Operatörlere uygulamalar için istikrarlı bir arayüz sağlarken sağlayıcının kullanılabilirliği, model sürümleri ve yönlendirme tercihleri de arkasında değişir.

Değişen model havuzu için kararlı bir ad

Takma ad katmanı olmadan uygulamalar genellikle sağlayıcıya özel model tanımlayıcılara bağımlıdır. Bu nedenle, bir modeli değiştirmek, bir yedek eklemek veya trafiği başka bir sağlayıcıya taşımak, çeşitli hizmetlerde yapılandırma değişiklikleri gerektirebilir. Ayrıca her istemciye yeniden deneme ve sağlayıcı seçimi mantığını da gönderebilir.

Cloudflare'in uygulanması bu kararları ağ geçidine taşır. Sıralı geri dönüş ile operatör, ilk tercihin bir isteğe hizmet verememesi durumunda tercih edilen modeli ve deneyecek alternatifleri tanımlayabilir. Akıllı yönlendirme, ağ geçidinin sabit bir sırayı takip etmek yerine havuzdan seçim yaptığı, politikaya dayalı bir alternatif sağlar.

Bu düzenleme özellikle ekipler için çoklu model API ağ geçidi ile ilgilidir. Bir yazılım ekibi, uygulamayı merkezi olarak değiştirirken uygulamalara kalıcı bir model adı verebilir. Ayrıca çeşitli dahili hizmetler tarafından kullanılan tanımlayıcıyı da standartlaştırarak uygulama sahipleriyle koordine edilmesi gereken model taşıma sayısını azaltabilir.

Ancak takma ad, ağ geçidine özgü olmaya devam ediyor. Birden fazla Cloudflare ağ geçidi çalıştıran kuruluşların, ortamlar veya iş birimleri arasında tutarlı adlar ve politikalar istiyorlarsa eşdeğer takma adları ayrı ayrı yönetmeleri gerekecektir.

Yük devretme kolaylaşıyor ancak gözlemlenebilirlik zorlaşıyor

Uygulamaların artık kendi sağlayıcı seçimine ve yedek koduna ihtiyacı olmaması nedeniyle model havuzları dayanıklılığı artırabilir. Operatör sıralı havuzu değiştirirse uygulama aynı takma adı çağırmaya devam eder. Aynı mekanizma, müşteriye yönelik sözleşmeyi değiştirmeden model yükseltmelerini veya sağlayıcı değişikliklerini destekleyebilir.

Ancak kararlı tanımlayıcılar, operatörlerin göz ardı edemeyeceği bir muhasebe ayrımı sağlar. Günlükler ve kullanım kayıtları, hem istemci tarafından istenen takma adı hem de isteğe gerçekten hizmet eden modeli korumalıdır. Aksi takdirde, yalnızca takma ad altında bildirilen bir istek fiyat, gecikme, çıktı kalitesi veya sağlayıcının işleyişindeki farklılıkları gizleyebilir.

Bu, teknik hata ayıklama kadar ters ibraz ve müşteri desteği açısından da önemlidir. Aynı takma ada yönelik iki istek farklı modeller tarafından sunulduğunda, istemci yapılandırması değişmese bile bunların maliyetleri ve davranışları farklı olabilir. Bu nedenle, geliştirici ekipleri için AI API kontrol düzleminin yalnızca genel model adına göre gruplandırılmış sayımlara değil, yürütme düzeyinde ilişkilendirmeye ihtiyacı vardır.

Değerlendirme aynı zamanda devam eden bir operasyonel görev haline gelir. Yönlendirme değişikliği, kod dağıtımı olmadan uygulama davranışını etkileyebilir; bu nedenle ekipler, politika revizyonlarını test etmeli ve değerlendirilen her isteğe hangi modelin hizmet verdiğinin kaydını tutmalıdır. Uyarı, başarılı bir geri dönüşü, tercih edilen modelin normal kullanımından ayırt etmelidir; çünkü tekrarlanan geri dönüş, bir sağlayıcı sorununa veya kapasitenin tükendiğine işaret edebilir.

Bayiler ve platform operatörleri açısından sonuçları

Takma adlar, müşteriye yönelik bir model kataloğu yayınlayan platformlar için kullanışlıdır. Bir satıcı, kullanımdan kaldırılmış bir modeli değiştirirken, sağlayıcı karışımını ayarlarken veya bunun arkasına bir geri dönüş seçeneği sunarken sabit bir ürün adını ortaya çıkarabilir. Bu, rahatsız edici katalog geçişlerini azaltabilir ve operatörün kullanılabilirliği merkezi olarak yönetmesine olanak tanıyabilir.

Soyutlama aynı zamanda açıklama ve faturalandırma sorularını da oluşturur. Müşterilerin, bir takma adın her zaman tek bir modelle eşleşip eşleşmediğini, birkaç model arasından seçim yapıp yapmadığını veya zaman içinde davranışını değiştirip değiştirmediğini bilmesi gerekebilir. AI API bayi operasyonları için, faturalar ve kullanım dışa aktarmaları, müşteri ücretlerini sağlayıcı maliyetleriyle bağdaştıracak kadar yönlendirme sonucunu yeterince net hale getirmelidir.

Operatörler ayrıca bütçelerin, ücret sınırlarının ve erişim politikalarının takma ada mı, temel modellere mi yoksa her ikisine mi ekleneceğine karar vermelidir. Maddi olarak farklı fiyatlara sahip modellere yönlendirme yapabilen bir takma ad, istemci yapılandırıldığında belirlenen harcama varsayımlarını sessizce atlamamalıdır.

Neyin belirsiz olduğu

Cloudflare'in değişiklik günlüğü temel davranışı belirler ancak bu duyuruda akıllı yönlendirme tarafından kullanılan karar kriterlerini açıklamaz. Ayrıca yük devretme için performans ölçümleri sağlamaz veya takma ad değişikliklerinin ne kadar hızlı yayıldığını açıklamaz.

Bu ayrıntılar, ekiplerin gecikme açısından hassas veya sıkı bir şekilde yönetilen iş yükleri için takma adları ne kadar güvenle kullanabileceğini belirleyecektir. Şimdilik elde edilen fayda açıktır: Yönlendirme kararları ağ geçidine taşınırken uygulamalar kararlı bir model adına bağlı olabilir. İlgili yükümlülük de aynı derecede açıktır: raporlama, faturalandırma ve denetimler, yalnızca uygulamanın sağladığı takma adı değil, talebi fiilen gerçekleştiren modeli de takip etmelidir.