Mistral, Studio'yu model oluşturma çalışma alanından aracı çalışma zamanına genişletiyor. 5 Kasım'da yapılan bir duyuruda şirket, dayanıklı iş akışı yürütmenin yanı sıra HTTP bağlayıcılar, web kancaları, izleme ve değerlendirme araçlarının yanı sıra Yönetilen Aracıları genel önizlemeye sundu.

Vardiya önemlidir çünkü saatlerce çalışan, onay için duraklayan veya bir kilitlenme sonrasında devam eden bir aracı, eşzamanlı sohbet isteğinden farklı bir altyapı sorunu oluşturur. Ekiplerin artık model belirteçlerinin yanı sıra yürütme durumunu, araç çağrılarını, kimlik bilgilerini, yeniden denemeleri ve insan kararlarını da hesaba katması gerekiyor.

Yönetilen aracılar kalıcı olacak şekilde tasarlanmıştır

Mistral, geliştiricilerin bir aracıyı bir kez tanımlayıp onu yerel olarak, kendi kendine barındırılan bir ortamda veya Mistral tarafından yönetilen dağıtım yoluyla çalıştırabileceğini söylüyor. Yönetilen yürütmeler saatlerce veya günlerce devam edebilir, bir kilitlenme sonrasında devam edebilir ve insan onayı beklenirken duraklatılabilir.

Bu, yürütme kaydını nihai yanıt kadar önemli kılar. Bir üretim sisteminin, bir işi hangi kullanıcının veya hizmetin başlattığını, her adımı hangi modelin gerçekleştirdiğini, hangi araçların çağrıldığını, hangi onayın verildiğini ve yeniden denemenin ek sağlayıcı maliyetleri oluşturup oluşturmadığını bilmesi gerekir. Bir iş birden fazla model ve araç operasyonuna yayıldığında tek bir istek kimliğinin yeterli olması pek olası değildir.

Ekipler için çok modelli API ağ geçidi çalıştıran ekipler için bu, daha geniş bir yönlendirme yüzeyi oluşturur. Yönlendirme politikasının, bir görevin etkileşimli mi yoksa dayanıklı mı olduğunu, daha düşük maliyetli bir modeli bekleyip bekleyemeyeceğini ve belirli bir sağlayıcının gerekli araçları, bölgeyi veya yürütme ömrünü destekleyip desteklemediğini dikkate alması gerekebilir.

HTTP bağlayıcılar entegrasyon sınırını genişletir

Sürüm ayrıca MCP sunucusu gerektirmeyen HTTP API bağlayıcıları da ekler. Mistral, bu bağlayıcıları, doğal dildeki talimatlardan iş akışları oluşturabilen, harici hizmetleri çağırabilen ve yürütme etkinliklerini diğer sistemlere bağlamak için web kancalarını kullanabilen bir iş akışı sisteminin parçası olarak tanımlar.

Bu, dahili araçları MCP arayüzleri yerine geleneksel REST uç noktalarını kullanıma sunan kuruluşlar için kullanışlıdır. Aynı zamanda güvenlik ve operasyon yükünü de artırır. Bağlayıcı kimlik bilgileri kiracı izolasyonuna, kontrollü kapsamlara, rotasyona ve denetim yollarına ihtiyaç duyar. Yeniden denemeler, özellikle bir iş akışının kesinti sonrasında devam ettirilebildiği durumlarda, güvenli tekrarı yinelenen yan etkiden ayırt etmelidir.

Web kancaları başka bir operasyonel sözleşme sunar. Alıcıların kimlik doğrulamasına, tekrar korumasına, olay sıralama kurallarına ve kaçırılan bildirimleri yetkili yürütme durumuyla bağdaştıracak bir yola ihtiyacı vardır. Bu gereksinimler, aracı işlerini birden fazla müşteriye sunan AI API satıcı platformu ile doğrudan ilgilidir: Bir müşteri yalnızca kendi etkinliklerini görmelidir; platformun yine de hataları araştırmak ve kullanımı uzlaştırmak için yeterli ayrıntıyı tutması gerekir.

Değerlendirme, çalışma zamanının bir parçası haline gelir

Mistral, aynı Studio yüzeyine izleme ve çevrimiçi ve çevrimdışı değerlendirme özellikleri ekliyor. Pratik önemi, ekiplerin bir modelin döndürdüğü metinden daha fazlasını değerlendirebilmesidir. Araç seçimini, ara adımları, iş akışının tamamlanmasını ve insan onay kontrol noktalarının etkisini inceleyebilirler.

Bu, ağ geçitlerini ve satıcıları iş yükü düzeyinde muhasebeye doğru itebilir. Model çıkarımı, harici araç çağrıları, iş akışı çalışma zamanı ve barındırılan düzenleme, müşteri tek bir aracı uç noktası gördüğünde bile ayrı kullanım boyutları gerektirebilir. Yalnızca girdi ve çıktı belirteçlerini içeren bir faturalama kaydı, uzun süren bir işin maliyetini tam olarak açıklamayacaktır.

Aynı zamanda bir yönetişim sorusunu da gündeme getirir: değerlendirme izleri; istemleri, alınan verileri, araç bağımsız değişkenlerini ve bağlı sistemlerden çıktıları içerebilir. Kuruluşların yalnızca nihai yanıtı değil, izlemeyi de kapsayan saklama ve erişim politikalarına ihtiyacı olacak.Model Gate için ilgili ürün sınırı, model istekleri için basit bir proxy yerine kiracıyı tanıyan yönlendirme, müşteri kullanım ölçümü ve dayanıklı yürütme kayıtlarının birleşimidir.

Belirsiz kalan şey

Mistral, incelenen duyurularda uzun süreli yönetilen yürütmeler için üretim düzeyinde hizmet düzeyi garantileri oluşturmamıştır. Yönetilen aracı özelliklerine ilişkin fiyatlandırma ve ayrıntılı kota sınırları da belirlenmedi. Bu ayrıntılar, hizmetin gözetimsiz üretim iş yükleri için mi yoksa öncelikli olarak geliştirme ve kontrollü pilot uygulamalar için mi uygun olduğunu belirleyecektir.

Dağıtım modları genelinde kullanılabilirlik başka bir açık sorudur. Bir aracıyı bir kez tanımlamak ve onu yerel olarak, kendi kendine barındırılan veya Mistral tarafından yönetilen altyapı aracılığıyla çalıştırmak caziptir, ancak uyumluluk bağlayıcılara, kimlik bilgilerine, çalışma zamanı durumuna ve değerlendirme özelliklerine bağlı olabilir. Geliştiriciler, ortamları birbirinin yerine kullanılabilir olarak değerlendirmeden önce hata gidermeyi, onay duraklatmalarını, web kancası teslimini ve muhasebe davranışını test etmelidir.