Google, düz metinler yerine sınırlı yanıtlara ihtiyaç duyan uygulamalar için yeni bir uç nokta olan Gemini Kararlar API'ı tanıttı. 11 Kasım'da yayınlanan API, tek bir istekte 1.000'e kadar evet-hayır, çoktan seçmeli veya dereceli değerlendirme puanlamalı soruyu değerlendirebilir.
Uç nokta, 256.000 jetonluk giriş sınırı dahilinde metin, resim, ses, video ve PDF girişlerini kabul eder. Bir makale veya sohbet yanıtı döndürmek yerine yazılımın sınıflandırma, sıralama, politika kontrolleri ve yönlendirme için kullanabileceği olasılıklar ve güven puanları üretir. Google, isteklerin 150 ila 250 milisaniyelik uçtan uca gecikmeyle tamamlanabileceğini söylüyor ancak bu performans rakamı, üretim iş yükleri genelinde bağımsız olarak henüz belirlenmedi.
Kararlar için ayrı bir API yüzey
Sürüm, sağlayıcı kataloğuna başka bir Gemini modeli eklemekten daha önemlidir. OpenAI uyumlu entegrasyonların çoğu üretken bir istek olduğunu varsayar: istemci mesajlar veya giriş öğeleri gönderir, model metin veya yapılandırılmış çıktı döndürür ve sağlayıcı bazı giriş ve çıkış belirteçleri kombinasyonları için ücret alır.
Gemini Decisions farklı bir sözleşme kullanır. Bir uygulama, kaynak materyali ve sınırlı sayıda soruyu sağlar ve ardından her olası cevap için sayısal kanıtlar alır. Bu tasarım, içeriğin inceleme kuyruğuna girip girmeyeceğine karar vermek, bir istek için model seçmek, alınan bağlamı notlandırmak veya belgelenmiş bir puanlama değerlendirme tablosunu uygulamak gibi görevlere uygundur.
Geliştiriciler bu iş akışlarına sıradan metin oluşturma yöntemiyle yaklaşabilir ancak oluşturulan yanıtlar ayrıştırma gerektirir ve uygulamanın ihtiyaç duymadığı ifadeleri ekleyebilir. Amaca yönelik oluşturulmuş bir karar uç noktası daha açık bir arayüz sağlar: Anlamlı çıktı, düzyazıdan oluşan bir pasaj değil, seçilen seçenek ve onunla ilişkili olasılık veya güvendir.
Fiyatlandırma, ölçüm modelini değiştirir
Google, fiyatı milyon giriş jetonu başına 0,10 ABD doları olarak listeler ve çıkış jetonlarını faturalandırmaz. Bu, geleneksel üretim modellerinin kullandığı girdi-çıktı muhasebesinden önemli bir sapmadır. Bu aynı zamanda bir isteğin, faturalandırılabilir çıkış jetonu sayısı sıfır olmasına rağmen ticari açıdan önemli verileri döndürebileceği anlamına da gelir.
Bu nedenle ağ geçidi operatörleri yalnızca jeton toplamlarına güvenemez. Kullanım kayıtlarının iş yükü türünü, giriş hacmini, soru sayısını ve ilgili yanıt meta verilerini koruması gerekir. Birleşik AI API faturalandırma sunan sistemler, sıfır çıkış jetonu değerinin eksik veya tamamlanmamış bir kullanım kaydıyla karıştırılmaması için ayrı bir ücret listesi kuralına da ihtiyaç duyabilir.
Toplama işlemi başka bir operasyonel soru yaratır. Tek bir istekte 1.000'e kadar soruyu desteklemek ağ yükünü azaltabilir ancak işletmelerin yine de bu çalışmanın dahili olarak nasıl ilişkilendirileceğine karar vermesi gerekecektir. Bir API çağrısı, farklı ürünler veya müşteriler için gerçekleştirilen yüzlerce denetleme denetimini, yönlendirme kararını veya belge puanını temsil edebilir.
Uyumluluk, model adını değiştirmenin ötesine geçer
Modele Google AI Studio'daki Gemini API adresinden ulaşılabilir. Doğrudan Google numaralı telefonu arayan ekipler için benimseme, karar odaklı istek ve yanıt yapılarını anlayan bir müşteriye ihtiyaç duyacaktır. Ekipler için çok modelli API bir ağ geçidi için, uç noktayı sıradan bir sohbet modeliymiş gibi açığa çıkarmak, önemli davranışları gizleyebilir ve hata işleme, analiz ve faturalandırmayı belirsiz hale getirebilir.
Daha temiz bir ağ geçidi tasarımı, kararları ayrı bir iş yükü sınıfı olarak tanımlar. Yönlendirme politikası daha sonra sınırlı sınıflandırma ve puanlama çalışmasını yeni uç noktaya gönderebilirken, aslında dil çıktısı gerektiren istekler için üretken modelleri ayırabilir. Kabul kontrolleri ayrıca bir isteği iletmeden önce soru sayısını, desteklenen medyayı ve giriş boyutunu doğrulamalıdır.
Güven verileri dikkatli bir şekilde ele alınmayı hak ediyor. Puan, eşikler ve yükseltme kuralları için faydalıdır ancak bir kararın doğru veya her alan için kalibre edilmiş olduğunun kanıtı değildir. Sonuç olarak ortaya çıkan politika veya uyumluluk iş akışları için API'i kullanan ekipler, tek bir evrensel kesintiyi benimsemek yerine kendi değerlendirmelerine, eşik testlerine ve insan incelemesi yollarına ihtiyaç duyacaktır.
Kanıtlanmamış kalanlar
Google'nin duyurusu API şeklini, yayınlanan fiyatı ve iddia edilen gecikmeyi ortaya koyuyor ancak üretim kullanılabilirliği ve performansına ilişkin bağımsız kanıtlar sınırlı kalıyor. Gerçek dünyadaki gecikme aynı zamanda yük boyutuna, medya işlemeye, coğrafyaya ve istek hacmine de bağlı olacaktır.
Dolayısıyla acil mühendislik görevi, mevcut sınıflandırıcıların geniş çapta değiştirilmesi yerine kontrollü değerlendirmedir. Geliştiriciler temsili çok modlu girdileri test etmeli, güven puanlarını bilinen sonuçlarla karşılaştırmalı ve büyük soru gruplarında hataların ve kısmi sonuçların nasıl davrandığını doğrulamalıdır. Ağ geçidi ve platform ekipleri ayrıca, uç noktayı müşterilerin kullanımına sunmadan önce, günlüklerinin bir karar isteğini üretimden ayırt edebildiğini doğrulamalıdır.