Cloudflare, AI Gateway'in özel maliyet muhasebesine, model kullanımını sağlayıcılar arasında yeniden satan, yönlendiren veya uzlaştıran ekipler için büyük faturalandırma sonuçları olan küçük bir değişiklik günlüğü öğesi olan önbellek okuma ve önbellek yazma belirteç oranlarını ekledi.
9 Eylül güncellemesi, geliştiricilerin artık per_cache_read_token ve per_cache_write_token değerlerini iletebileceği anlamına geliyor cf-aig-custom-cost başlığı. Cloudflare, önbelleğe özgü hızlardan herhangi biri mevcut olduğunda, AI Gateway'in önbellek belirteci fiyatlandırmasını etkinleştirdiğini ve sağlayıcı farklılıklarını hesaba katarak aynı önbellek kullanımının iki kez sayılmadığını söylüyor.
Bu çok dar bir fikir gibi görünüyor. Değil. Önbellek fiyatlandırması, özellikle sağlayıcıların yeniden kullanılan bağlam için farklı adlar, birimler ve faturalandırma kuralları kullanması nedeniyle birleşik AI API faturalandırmasının en zor kısımlarından biri haline geldi. Önbelleğe alınan her jetonu normal bir giriş jetonu olarak ele almak basit olabilir, ancak bayi marjını silmek veya müşterileri hangi iş yüklerinin gerçekten pahalı olduğu konusunda yanıltmak için yeterince yanlış olabilir.
Değişen şey
AI Gateway, özel maliyet verilerinin isteklere eklenmesine zaten izin veriyordu ve ekiplere yalnızca kamu sağlayıcı fiyatlarına güvenmek yerine pazarlık yapılan oranları veya dahili fiyat kitaplarını temsil etme yolu sağlıyordu. Yeni değişiklik, bu mekanizmayı önbelleğe özgü jeton kategorilerini kapsayacak şekilde genişletiyor.
Uygulamada, bir ağ geçidi operatörü artık Cloudflare'e yalnızca bir giriş veya çıkış jetonunun maliyetini değil, aynı zamanda bir önbellek okuma veya önbellek yazma maliyetinin ne kadar olduğunu da söyleyebilir. Bu ayrım önemlidir, çünkü sağlayıcılar giderek daha fazla bilgi istemi önbelleğe almayı kendi ekonomik katmanı olarak fiyatlandırıyor. Önbellek yazma işlemi, önbellek okuma işleminden daha pahalı olabilir. Bir önbellek okuması, yeni girişten önemli ölçüde daha ucuz olabilir. Bazı sağlayıcılar, kullanım kayıtlarında önbellek oluşturmayı ve önbellek almayı farklı şekilde ortaya çıkarabilir.
Cloudflare'in, çift sayımı önlemek için sağlayıcı farklılıklarını ele aldığını belirtmesi de önemlidir. Önbellek alanları her zaman giriş belirteci toplamlarından net bir şekilde ayrılmaz. Bir faturalandırma sistemi, sağlayıcı tarafından bildirilen girdi kullanımına safça önbellek belirteçleri eklerse, müşterilerden aşırı ücret alabilir veya dahili maliyeti artırabilir. Önbellek alanlarını göz ardı ederse, sıklıkla önbellek girişleri oluşturan uzun bağlamlı uygulamaların maliyeti olduğundan düşük gösterilebilir.
Önbellek muhasebesi artık neden önemlidir?
İstemi önbelleğe alma eskiden bir optimizasyon ayrıntısıydı. Pek çok üretim iş yükü için artık fiyat mimarisinin bir parçası.
Uzun sistem istemleri, erişimle zenginleştirilmiş içerik, kodlama aracısı depoları, yasal belge paketleri ve destek bilgi tabanlarının tümü, bağlamın yeniden kullanılmasından yararlanır. Bir sistem ne kadar çok tekrarlanan içerik gönderirse, önbellek fiyatlandırması gerçek birim ekonomisini o kadar çok değiştirir. Benzer jeton sayılarına sahip iki isteğin maliyetleri, biri önbellek girişi yazarken diğeri bundan okuyorsa çok farklı olabilir.
Bu, önbellek görünürlüğünü yalnızca bir mühendislik sorunu değil, bir finans sorunu haline getirir. Dahili aracıları çalıştıran bir ekibin, yeni bir iş akışının çok fazla yeni bilgi istemi oluşturması, önbelleği kaçırması veya büyük önbellek bloklarını çok sık yazması nedeniyle pahalı olup olmadığını bilmesi gerekebilir. Bir satıcının, bir uygulamanın görünen bilgi istemi boyutu büyük olmasına rağmen faturalanan kullanımının neden beklenenden daha düşük olduğunu müşterilere göstermesi gerekebilir. Bir ağ geçidi satıcısının, ay sonu mutabakatının sağlayıcı faturalarıyla eşleşmesi için günlüklerdeki, analizlerdeki ve genel muhasebe kayıtlarındaki önbellek alanlarını koruması gerekebilir.
Bu aynı zamanda AI API maliyet analizinin daha zorlu hale geldiği yerdir. Toplam talep maliyeti artık yeterli değil. Ekiplerin giriş, çıkış, önbellek yazma ve önbellek okuma davranışını ayrı ayrı görmesi, ardından bu kategorileri API anahtarlarına, müşterilere, modellere ve rotalara bağlaması gerekir.
Kimler etkilenir?
İlk hedef kitle, varsayılan genel fiyatlandırma yerine özel maliyetlere güvenen Cloudflare AI Gateway kullanıcılarıdır. Buna, üzerinde anlaşmaya varılan model fiyatlarına sahip kuruluşlar, müşteriler için sağlayıcı kullanımını belirleyen platformlar ve Cloudflare'i birden fazla model sağlayıcı arasında ortak kontrol düzlemi olarak kullanan ekipler dahildir.
Bayiler özellikle risk altındadır. Bir satıcı, sağlayıcılara önbelleğe duyarlı fiyatlandırma kapsamında ödeme yaparken basitleştirilmiş bir token modeli kullanarak müşterilerden ücret alırsa, fark sessizce birikebilir. Önbellek yazma işlemlerinin yetersiz şarj edilmesi veya önbellek okumalarının aşırı şarj edilmesi tek bir istekte görünmeyebilir ancak aracı oturumları, toplu işleme veya yüksek hacimli alma iş yükleri genelinde önemli olabilir.
OpenAI uyumlu ağ geçidi katmanları oluşturan geliştiriciler, Cloudflare'i doğrudan kullanmasalar bile etkilenir. Değişiklik pazardaki daha geniş bir yönü yansıtıyor: Sağlayıcı faturalandırma yüzeyleri daha ayrıntılı hale gelirken müşteriler hâlâ temiz bir fatura ve öngörülebilir kullanım raporları bekliyor.Model Gate gibi ürünlerin, birden fazla sağlayıcıda doğru müşteri kapsamlı raporlama, kullanım sınırları ve marj analizi istiyorsa önbellek jetonu alanlarını birinci sınıf defter verileri olarak ele alması gerekir.
Pratik sonuçlar
Ağ geçidi ekipleri, istek günlüklerinin, maliyet hesaplayıcılarının ve faturalarının önbellek etkinliğini nasıl temsil ettiğini incelemelidir. Önbellek okuma ve yazma işlemleri sıradan bilgi istemi belirteçleri halinde düzleştirilirse analizler temel faturadan daha basit görünebilir. Sağlayıcı kullanım kayıtları, besleme sırasında bırakılan önbellek alanları içeriyorsa daha sonra mutabakat zor olacaktır.
Fiyatlandırma motorlarının ayrıca yön başına birden fazla ücreti desteklemesi gerekir. Eski girdi-çıktı ayrımı, gelişmiş model muhasebesi için artık yeterli değil. Güvenilir bir model defterinin artık yeni giriş jetonları, çıkış jetonları, önbellek yazmaları, önbellek okumaları ve muhtemelen bu kategorilerin sağlayıcıya özel çeşitleri için alana ihtiyacı var.
Müşteriye yönelik kontrol panelleri bu ayrımları dikkatli bir şekilde ortaya koymalıdır. Çoğu kullanıcı ham sağlayıcı telemetrisini okumak istemez ancak bir uygulama bağlamı daha etkili bir şekilde yeniden kullanmaya başladığında maliyetlerin neden değiştiğini anlamaları gerekir. En iyi arayüz, müşterileri her sağlayıcının terminolojisini öğrenmeye zorlamadan önbellek tasarruflarını ve önbellek oluşturma maliyetlerini gösteren bir maliyet dökümü olabilir.
Ayrıca uyarılar ve limitlerin operasyonel sonuçları da vardır. Yalnızca toplam belirteçlere dayalı bir müşteri bütçe sınırı, pahalı önbellek girişleri yazan bir iş yükünü yakalamakta başarısız olabilir. Yalnızca istek sayısına dayalı bir marj uyarısı, sağlayıcı fiyatlandırma uyumsuzluğunu gözden kaçırabilir. Müşteri başına anahtarlar aracılığıyla erişim satan ekipler için, önbellek tanımalı muhasebe, harcama kontrolleri için kullanılan aynı müşteri, proje veya uygulama tanımlayıcılarına bağlanmalıdır.
Açık kalanlar
Değişiklik günlüğü, önbellek okuma ve önbellek yazma özel oranları için destek sağlar, ancak ağ geçidi operatörleri için her uygulama sorusunu çözmez. Ekiplerin hâlâ belirli sağlayıcılarının önbellek kullanımını nasıl raporladığını, Cloudflare'in hesaplanan maliyetlerinin günlüklerde ve dışa aktarımlarda nasıl göründüğünü ve mevcut faturaların yeni özel maliyet alanlarıyla nasıl karşılaştırılması gerektiğini test etmesi gerekiyor.
Ancak daha büyük yön açıktır. Yapay zeka ağ geçidi faturalandırması, basit bir jeton ölçerden ayrıntılı bir kullanım defterine doğru ilerliyor. Önbellek fiyatlandırması artık bu defterin bir parçası. Ayrıntıları koruyan ekipler daha temiz mutabakata ve daha iyi müşteri analitiğine sahip olacak. Bunu ortadan kaldıran ekipler, sağlayıcı faturaları ve müşteri faturaları aynı hikayeyi anlatmayı bırakıncaya kadar sorunu fark etmeyebilir.