OpenAI, 26 Ekim'de Yanıtlar ve Sohbet Tamamlama API'leri aracılığıyla GPT-6.1 Terra'yı piyasaya sürdü ve bilgisayar kullanımını da içeren iş yüklerini hedefleyen daha düşük fiyatlı bir model ekledi. Standart API ücreti, bir milyon giriş jetonu başına 1 ABD Doları, önbelleğe alınmış bir milyon giriş jetonu başına 0,05 ABD Doları ve bir milyon çıkış jetonu başına 5 ABD Dolarıdır.
Terra ayrıca ChatGPT Work ve Codex sürümlerinde de kullanıma sunuluyor, ancak standart ChatGPT deneyiminde mevcut değil. Bu ayrım, müşterilere erişim konusunda iletişim kuran işletmeler için önemlidir: API listesi, işyerinde ürün sunumu ve tüketici sohbet arayüzündeki kullanılabilirlik ayrı dağıtım kanallarıdır.
Lansman, sınıflandırma veya çıkarma için kullanılan ucuz modeller ile daha maliyetli akıl yürütme modelleri arasında yeni bir OpenAI yönlendirme seçeneği yaratıyor. Bu aynı zamanda ağ geçidi operatörlerine tanıdık bir operasyonel sorun da sunuyor: Başlık fiyatı entegrasyon çalışmasının yalnızca başlangıcıdır.
Terra'nın fiyatı iş yükünün şekline bağlıdır
Yayınlanan oranlara göre, çıkış jetonlarının maliyeti sıradan giriş jetonlarının beş katıdır. Önbelleğe alınan giriş, standart giriş oranının %5'i olarak fiyatlandırılır. Bu nedenle sürekli olarak kararlı talimatlar, araç açıklamaları veya diğer yeniden kullanılabilir bağlamlar gönderen uygulamalar, büyük yanıtlar oluşturan veya istemlerini sürekli değiştiren uygulamalardan önemli ölçüde farklı bir maliyet profili görebilir.
Bu özellikle bilgisayar kullanan aracılarla ilgilidir. Bu tür sistemler, bir görevi tamamlamadan önce birden fazla gözlem, akıl yürütme ve eylem döngüsünden geçebilir. Modelin girdi fiyatı düşük olsa bile, ayrıntılı çıktılar veya uzun takım döngüleri toplam faturayı artırabilir. Bu nedenle OpenAI'nin açıklanan ücreti, yalnızca ilk isteğin fiyatına değil, görevin tamamına göre değerlendirilmelidir.
Birleşik AI API faturalandırma kullanan ekiplerin, sıradan giriş, önbelleğe alınmış giriş ve çıkış için ayrı muhasebeye ihtiyacı olacaktır. Bu kategorileri tek bir karma token rakamına sığdırmak, hem müşteri ücretlerini hem de ağ geçidi marjlarını gizleyecektir. Değerlendirmeler, başarısız adımlar ve yeniden denemeler de dahil olmak üzere, aracı çalıştırmanın tamamındaki belirteçleri ve maliyeti kaydetmelidir.
Ağ geçitlerinin meta verilere, politikaya ve uyumluluk güncellemelerine ihtiyacı var
Terra'yı çok modelli API ekipler için ağ geçidine eklemek, model kimliğini kaydetmekten daha fazlasını gerektirir. Katalog kayıtlarında üç belirteç hızı, desteklenen API yüzeyleri, yetenek meta verileri ve bölgesel kısıtlamalar gerekir. Yönlendirme sistemlerinin ayrıca bir iş yükünün hızlı önbelleğe alma işleminden yararlanıp yararlanmadığını ve görünürdeki girdi fiyatı avantajını ortadan kaldırmak için yeterli çıktı veya araç yinelemesi üretip üretemeyeceğini de ayırt etmesi gerekir.
OpenAI, BAE çıkarım ikametinin bu model için desteklenmediğini söylüyor. Bölgesel yönetim vaat eden bir ağ geçidi, kiracının BAE'de ikamet etmesi gerektiğinde Terra'yı başka bir OpenAI modelinin değiştirilebilir bir alternatifi olarak değerlendiremez. Operatörlerin bir isteğin neden engellendiğini veya başka bir yere gönderildiğini açıklayabilmesi için kısıtlamanın model keşfinde görünür olması, yönlendirme politikasında uygulanması ve istek günlüklerinde korunması gerekir.
Bayiler ek bir iletişim sorunuyla karşı karşıya. AI API bayi platformu, bir müşterinin ChatGPT aboneliğinin Terra API erişimi içerdiğini veya API kullanılabilirliğinin, modelin ChatGPT standardında seçilebileceği anlamına gelmediğini ima etmemelidir. Ürün katalogları ve müşteriye yönelik kullanım raporları, erişim kanalını ve etkili modeli ayrı ayrı tanımlamalıdır.
Model Gate ve benzeri OpenAI uyumlu hizmetler için pratik sürüm kontrol listesi, modelin eklenmesini, önbelleğe duyarlı fiyatların uygulanmasını, ikamet sınırlamasının ortaya çıkarılmasını ve hem Yanıtların hem de Sohbet Tamamlama davranışının test edilmesini içerir. Sıradan giriş ve çıkış farklı işaretlemeler taşırken, önbelleğe alınmış jetonlar sağlayıcının maliyetine göre aktarılıyorsa, marj kurallarının da revizyona ihtiyacı olabilir.
Performans iddialarının hâlâ bağımsız testlere ihtiyacı var
OpenAI, Terra için yetenek, hız ve halüsinasyon iyileştirmeleri bildirdi, ancak bu iddiaların tümü bağımsız olarak yeniden üretilmedi. Doğru karşılaştırma iş yüküne göre de değişecektir. Kısa yapılandırılmış yanıtlar için ekonomik olan bir model, kapsamlı muhakeme yürüten, eylemleri yeniden deneyen veya uzun bilgisayar kullanım oturumları gerçekleştiren bir aracı için daha az çekici olabilir.
Geliştiriciler, geleneksel sohbet testlerinden elde edilen sonuçları aktarmak yerine Terra'yı temsili istemler, araçlar ve tamamlama sınırlarıyla karşılaştırmalı. Yararlı ölçümler arasında görev tamamlama oranı, uçtan uca gecikme süresi, önbellek isabet sıklığı, çıktı hacmi, araç döngüsü sayısı ve başarılı görev başına toplam maliyet yer alır.
Dolayısıyla Terra'nın acil önemi evrensel olarak daha ucuz olması değildir. API alıcılara başka bir OpenAI fiyat aralığı verir ve yönlendirme sistemlerine model oluşturmaları için başka bir taviz seti verir. Üretim maliyetlerini düşürüp düşürmemesi, önbelleğe alma davranışına, yanıt uzunluğuna, aracı döngüsü verimliliğine ve her isteğe bağlı bölgesel politikalara bağlı olacaktır.