GitHub, Copilot Fusion'ı genel kullanıma sunarak çoklu model yönlendirmeyi bir altyapı sorunu olmaktan çıkarıp günlük kodlama iş akışına taşıdı. Fusion, geliştiricinin tek bir sabit model seçmesini zorunlu kılmak yerine, bir istek için bir veya daha fazla modeli seçip düzenleyebilir.
Sürüm, GitHub Copilot'un ötesinde önemlidir. Hizmet çeşitli temel model kararları alırken, potansiyel olarak ayrı ayrı faturalandırılan birkaç çağrı oluştururken, kullanıcının bir görevi nasıl gönderebileceğini gösterir. Bu, geliştiricilerin, yöneticilerin ve faturalandırma sistemlerinin bir istek hakkında bilmesi gerekenleri değiştirir: Arayüzde gösterilen modelin artık işin nasıl gerçekleştirildiğinin tam bir açıklaması olması gerekmez.
Füzyon seçebilir, basamaklandırabilir veya eleştirebilir
GitHub, Fusion için üç yürütme modelini belgeliyor. Bir istek seçilen tek bir modele gidebilir, bir dizi model boyunca ilerleyebilir veya bir modeli başka bir modelin çıktısını eleştirmek için kullanabilir. Kullanıcılar aynı zamanda Standart, Yüksek veya Maksimum efor düzeylerini de seçebilir ve böylece ne kadar orkestrasyonun uygulanacağı konusunda bir miktar kontrol sahibi olabilirler.
Bu önemli bir ürün değişimidir çünkü yönlendirme, sağlayıcının arkasındaki görünmez bir optimizasyondan ziyade son kullanıcı deneyiminin bir parçası haline gelmektedir API. Ekipler için çok modelli API bir ağ geçidi, uygulama katmanında benzer bir seçim gerçekleştirebilir, ancak Fusion, kararı büyük bir geliştirme ortamına yerleştirir ve doğrudan geliştiriciye bir çaba kontrolü sunar.
Bu yaklaşım, kullanıcıların mevcut her modelin güçlü yönlerini anlama ihtiyacını azaltabilir. Aynı zamanda yeni bir teşhis sorunu yaratır. Bir yanıt yavaş, pahalı veya yanlış olduğunda ekiplerin, sonucun tek bir modelden mi, bir basamaktan mı yoksa birkaç modeli içeren bir eleştiri geçişinden mi geldiğini bilmesi gerekir.
Bir istek birden fazla ödemeye neden olabilir
GitHub, Fusion tarafından kullanılan her modelin, o modelin standart ücreti üzerinden faturalandırıldığını söylüyor. Ayrıca, ücretli planlar için Fusion model maliyetlerinde geçici olarak %30'luk bir indirim yapılacağını duyurdu ancak incelenen duyuruda bu indirimin ne zaman sona ereceği belirtilmedi.
Bu faturalandırma tasarımı, yürütme takibini ticari açıdan önemli hale getiriyor. Düzenleme daha iyi sonuç verse bile, tek bir geliştirici eylemi, tek bir modele doğrudan çağrı yapmaktan daha fazla kaynak tüketebilir. Bu nedenle Fusion'ı değerlendiren ekiplerin, yalnızca ilgili ilk modelin listelenen jeton fiyatını değil, tamamlanan kodlama görevi başına maliyeti de karşılaştırması gerekecek.
Aynı sorun birleşik AI API faturalandırma için de geçerlidir. Kullanım kayıtları, orijinal kullanıcı isteğiyle olan bağlantıyı korurken temeldeki her model çağrısını tanımlamalıdır. Bu ilişki olmadan yöneticiler model ücretlerini görebilir ancak bunları hangi görevin oluşturduğunu veya bir çalışma ayarının maliyeti arttırıp artırmadığını açıklamakta zorluk yaşayabilir.
Kurumsal politikalar hâlâ rotayı şekillendiriyor
Kuruluş ve kuruluş yöneticileri, GitHub ürününün mevcut model politikaları aracılığıyla Fusion'ın hangi modelleri kullanabileceğini kısıtlayabilir. Bu, şirketlere şirket içi gereksinimleri karşılamayan modelleri hariç tutma olanağı sağlar, ancak aynı zamanda aynı Fusion isteğinin kuruluşlar arasında farklı şekilde yönlendirilebileceği anlamına da gelir.
Mühendislik liderleri için model politikası ve bütçe politikasının artık birlikte değerlendirilmesi gerekiyor. Katalogda pahalı bir modele izin verilmesi, Fusion'ın bunu yalnızca geliştiricinin açıkça seçmesi durumunda değil, çoklu model dizisinin bir parçası olarak çağırmasına da olanak tanıyabilir. Ekipler için pratik AI API harcama kontrolleri bu nedenle düzenleme derinliğini, çaba düzeyini ve bir görevle ilişkili tüm çağrıların toplam maliyetini hesaba katmalıdır.
Ağ geçidi operatörleri ilgili bir raporlama gereksinimiyle karşı karşıyadır. Günlükler, kullanıcı tarafından talep edilen model veya modu, isteğe gerçekten hizmet eden her modelden ayırmalıdır. Bu ayrım, yönlendirme davranışı zaman içinde değiştiğinde maliyet ilişkilendirmeyi, olay araştırmasını ve tekrarlanabilir değerlendirmeleri destekler.
Yerel yönlendirme, bulutla ilgili soruları ortadan kaldırmaz
GitHub ayrıca uygun yerel ve bulut modelleri arasında yönlendirme yapabilen deneysel bir önizlemeyi de kullanıma sundu. Yerel çıkarım maliyet, gecikme veya veri işleme için başka bir seçenek sunabilir ancak "yerel" kelimesi tek başına tüm işlem yolunu tanımlamaz. Ekiplerin, GitHub'nın bulut hizmetlerinde hangi yönlendirme kararlarının, istemlerin, meta verilerin veya takip modeli çağrılarının kalacağı konusunda hâlâ netliğe ihtiyacı var.
Birkaç ayrıntı henüz belirlenmemiş durumda. GitHub, %30 indirimin süresini belirtmemiştir ve Claude Koduyla yayınlanan maliyet ve performans karşılaştırmaları, belirli bir karşılaştırma yapılandırmasına bağlıdır. Bu sonuçlar, her depo veya iş yükü için evrensel tahminler olarak değerlendirilmemelidir.
Kalıcı değişim mimaridir: Model düzenleme, geliştirici araçlarının standart bir özelliği haline geliyor. Bu gerçekleşirken, şeffaf yönlendirme kayıtları, politikaya duyarlı model seçimi ve görev düzeyinde maliyet raporlama, isteğe bağlı gözlemlenebilirlik özellikleri yerine ürünün gerekli parçaları haline gelir.