Yapay Zeka Model Seçimi için Ağ Geçidi Tarafından Yönetilen Değerlendirmeler: Sessiz Gerilemeler Olmadan Daha Ucuz veya Daha Hızlı Modelleri Teşvik Edin

Ekipler genellikle bir modeli açıkça kötü olan bir modelle değiştirerek AI iş akışlarını bozmazlar. Daha ucuz, daha hızlı veya daha erişilebilir görünen makul bir yönlendirme değişikliği yaparak ve daha sonra özetlerin daha az güvenilir olduğunu, araç çağrılarının hatalı biçimlendirildiğini veya küçük ama önemli bir kiracı iş yükü için reddetme davranışının değiştirildiğini keşfederek bu kuralları bozarlar.

Pratik cevap, değerlendirme sonuçlarını ağ geçidinin içindeki bir promosyon yapısı olarak ele almaktır. Bir model takma adı, kiracı profili veya yönlendirme politikası yeni bir adayı işaret etmeden önce, ağ geçidinin hangi veri kümesinin kullanıldığını, hangi not verenlerin çalıştığını, adayın mevcut temel ile nasıl karşılaştırıldığını, maliyet ve gecikme etkisinin ne olduğunu, değişikliği kimin onayladığını ve bunun nasıl geri alınacağını gösterebilmesi gerekir.

Bu makalede, yapay zeka modeli seçimi için ağ geçidi tarafından yönetilen değerlendirmelere yönelik bir referans modeli açıklanmaktadır. Karşılaştırma takibine değil, üretim kontrolüne odaklanır.

Gerçekler, Öneriler ve Tahminler

Gerçekler: Modern değerlendirme araçları, yeniden kullanılabilir değerlendirme veri kümelerini tanımlayabilir, birden fazla model yapılandırması çalıştırabilir ve çıktı düzeyinde derecelendirme sonuçlarını, geçiş durumunu, jeton sayımlarını ve toplu metrikleri döndürebilir. Yaygın olarak kullanılan not verici türleri arasında tam dize kontrolleri, benzerlik ölçümleri, şema veya hesaplama kontrolleri ve model tabanlı notlayıcılar bulunur. İkili değerlendirme, aday yanıtlarını bir referans çizgisine göre karşılaştırabilir; noktasal değerlendirme ise bir değerlendirme tablosuna veya beklenen yanıta göre bir yanıtı puanlar.

Öneriler: Geçerli JSON, zorunlu alanlar, izin verilen etiketler, araç bağımsız değişken şekli, alıntı varlığı, ret kategorisi veya sayısal tolerans gibi görevin açık bir sözleşmesinin olduğu yerlerde deterministik not vericiler kullanın. Açık uçlu kalite için model tabanlı değerlendirmeleri yalnızca küçük bir insan derecelendirmeli setle karşılaştırdıktan sonra kullanın. Yalnızca kamuya açık bir karşılaştırmaya dayalı bir modeli tanıtmayın; bunu kendi izlerinize, kiracılarınıza, araçlarınıza, bütçelerinize ve hata modlarınıza bağlı kanıtlardan destekleyin.

Tahminler: Model tanıtımı, anlık uygulama kararlarından ağ geçidi kontrol düzlemlerine taşınacaktır çünkü ağ geçitleri, model değişikliklerini denetlenebilir kılmak için gereken model kataloğunu, yönlendirme kurallarını, kullanım izlerini, kiracı politikalarını ve faturalandırma verilerini zaten içerir. Değerlendirmeleri yönlendirmeden ayrı tutan ekipler yine de testler yürütecek ancak hangi kanıtın canlı bir takma ad değişikliğini desteklediğini kanıtlamakta zorlanacaklar.

Okuyucu Sorunu: Yönlendirme Değişiklikleri Kanıta İhtiyaç Duyar

Çoklu model API, hedef modeli değiştirmeyi kolaylaştırır. Bu faydalıdır ancak aynı zamanda bir kontrol sorunu da yaratır. Ekip, yüksek maliyetli destek özetleme modelini daha ucuz bir adayla değiştirmek, kullanılabilirlik için bir yedek model eklemek, kodlama görevlerini daha hızlı bir modele taşımak veya düşük öncelikli kiracıları daha düşük maliyetli bir katmana yönlendirmek isteyebilir.

Her değişikliğin farklı bir risk profili vardır. Daha ucuz bir özetleyici, yükseltme ayrıntılarını atlayabilir. Daha hızlı bir sınıflandırıcı nadir etiketleri yanlış işleyebilir. Bir geri dönüş modeli farklı bir araç çağrısı formatı kullanabilir. Daha yeni bir akıl yürütme modeli, p95 gecikmesini artırırken zor durumları iyileştirebilir. Sağlayıcı sürüm notları ve herkese açık puan tabloları, bu ödünleşimlerin belirli bir uygulama için kabul edilebilir olup olmadığına yanıt veremez.

Ağ geçidi, istekleri, yanıtları, kiracıları, anahtarları, takma adları, maliyetleri, gecikmeyi, hata oranlarını, araç çağrılarını ve politika kararlarını gördüğü için bu açığı kapatacak doğal yerdir.Ağ geçidi tarafından yönetilen değerlendirmeler, operasyonel bağlamı tekrarlanabilir bir tanıtım iş akışına dönüştürür.

Referans Mimarisi

Pratik bir mimarinin yedi bölümü vardır:

1. İzleme örnekleyici: üretim trafiğinden, başarısız isteklerden, pahalı isteklerden, kiracı onaylı örneklerden ve bilinen uç durumlardan aday değerlendirme öğelerini seçer.
2. Düzenleme ve izin kontrolleri: hassas alanları kaldırır veya maskeler, kiracının günlüğe kaydetme ve saklama politikasını zorunlu kılar ve değerlendirmeler için kullanılamayan örnekleri engeller.
3. Değerlendirme veri kümesi kaydı:, görev türü, kiracı kapsamı, bilgi istemi şablonu sürümü, araç şeması sürümü, mümkün olduğunda beklenen çıktılar ve kaynakla birlikte değişmez veri kümesi sürümlerini saklar.
4. Aday modeli runner: veri kümesi öğelerini, kontrollü parametreler kullanarak mevcut taban çizgisine ve bir veya daha fazla aday modele göre yeniden oynatır.
5. Graderler: deterministik kontroller, hesaplama tabanlı metrikler ve kalibre edilmiş model tabanlı değerlendirme uygular.
6. Promosyon karar kaydı: değerlendirme çalıştırma kimliğini, veri kümesi sürümünü, temel modeli yakalar Kimlik, aday model kimliği, not veren sürümleri, eşikler, sonuçlar, sahip, onay ve geri alma hedefi.
7. Takma ad veya yönlendirme politikası güncellemesi: canlı ağ geçidini yalnızca tanıtım kararı gerekli geçitleri geçtikten sonra günceller.

Bu, değerlendirmelerin dağıtıma bağlı kalmasını sağlar. Değerlendirme çalıştırması birisinin sohbet dizisine yapıştırdığı bir rapor değildir. support-fast, coding-default veya summarize-cheap.

Üç Veri Kümesi Sınıfı Oluşturun

1 gibi bir takma adı değiştirmeden önce gereken bir kontrol düzlemi nesnesidir. Altın Regresyon Vakaları

Altın vakalar, beklenen yanıtlara veya katı başarı kriterlerine sahip seçilmiş örneklerdir. Manuel olarak incelenecek kadar küçüktürler ve önerilen her promosyonda çalıştırılacak kadar kararlıdırlar.

Bunları net sözleşmelere sahip görevler için kullanın: sınıflandırma, çıkarma, yapılandırılmış özetler, politika kararları, araç seçimi, yönlendirme etiketleri ve reddetme davranışı. Altın öğe; girişi, beklenen çıktıyı veya değerlendirme tablosunu, izin verilen varyasyonu, görev meta verilerini ve çağrıyı yeniden oluşturmak için gereken araç şemalarını içermelidir.

Örnek alanlar:

{
  "dataset_item_id": "support-summary-0421",
  "task": "support_summary",
  "tenant_scope": "shared_redacted",
  "input_messages": [...],
  "expected_schema": "support_summary_v3",
  "required_facts": ["refund_requested", "order_id_present", "escalation_reason"],
  "disallowed_content": ["invented_refund_status"],
  "prompt_template_version": "support_summary_prompt_2026_08_14"
}

2. Üretimden Türetilen Uç Durum Örnekleri

Üretimden türetilen durumlar, sentetik testlerin genellikle gözden kaçırdığı hataları yakalar. İyi kaynaklar arasında yüksek maliyetli istekler, yeniden denemeler, manuel geçersiz kılmalar, kullanıcı düzeltmeleri, güven düzeyi düşük sınıflandırıcı çıktıları, şema hataları, uzun bağlam çağrıları, gecikme sınırlarına yakın istekler ve olağandışı araç kullanımına sahip kiracı iş akışları yer alır.

Gizlilik kuralı basittir: üretim izleri yalnızca izin verildiği takdirde faydalıdır. Ağ geçidi, bir izlemenin değerlendirme veri kümesine girmesinden önce kiracının onayını, veri saklama ilkesini, düzenlemeyi ve ikamet kısıtlamalarını zorunlu kılmalıdır. Hassas kiracılar, ortam içi değerlendirme yürütmeye, sentetik eşdeğerlere veya ham istemleri ve tanımlayıcıları kaldıran düzeltilmiş izlere ihtiyaç duyabilir.

3. Çekişmeli ve Politika Vakaları

Çatışma vakaları, baskı altında başarısız olan davranışları test eder: aracın yanlış kullanımı, istem ekleme, güvenli olmayan açıklama, ret sınırları, gizli talimat çakışmaları, hatalı biçimlendirilmiş dosyalar, geçersiz alıntılar ve belirsiz kullanıcı istekleri. Bu vakaların dramatik olmasına gerek yok.Bir model fazla hoşgörülü, fazla itaatkâr veya fazla dikkatsiz hale geldiğinde uygulamalarınızın zarar verebileceği yolları temsil etmeleri gerekir.

Ajanlı iş akışları için yalnızca tek dönüşlü istemleri değil, tam mesaj geçmişlerini ve araç çağrısı bağlamını dahil edin. Tek dönüşlü bir soruyu iyi yanıtlayan bir aday, araç sonuçlarını incelemesi, yetki sınırlarını koruması ve sonraki bir eylem için geçerli argümanlar üretmesi gerektiğinde yine de başarısız olabilir.

Önce Deterministik Not Vericileri Kullanın

Yargı gerektirmeyen not verenlerle başlayın. Bunlar daha ucuzdur, daha hızlıdır, hata ayıklaması daha kolaydır ve sapma olasılığı daha düşüktür.

Yararlı deterministik kontroller şunları içerir:

• JSON başarıyla ayrıştırır ve gerekli şemayla eşleşir.
• Gerekli alanlar mevcut ve hiçbir yasak alan görünmüyor.
• Sınıflandırma çıktısı izin verilenlerden biridir labels.
• Sayısal yanıt, kabul edilen tolerans dahilindedir.
• Kiracı ve iş akışı için araç adına izin verilir.
• Araç bağımsız değişkenleri, şema doğrulama ve politika kontrollerinden geçer.
• Yanıt, gerekli alıntıları veya kaynak tanımlayıcıları içerir.
• Yanıt, bilinen yasaklı ifadeleri içermez, sırlar veya dahili işaretler.
• Ret kategorisi, beklenen politika sonucuyla eşleşiyor.

Bu kontroller, terfi kapıları konusunda sıkı olmalıdır. Bir aday geçerli yapılandırılmış çıktılar veya güvenli araç çağrıları üretemezse, iyi bir açık uçlu yazma puanının onu kurtarmaması gerekir.

Modele Dayalı Değerlendirmeleri Dikkatli Kullanın

Açık uçlu görevler hâlâ kaliteli muhakeme gerektirir. Özetler aslına uygun olabilir ancak kesin olmayabilir. Destek yanıtlarının üslup, eksiksizlik ve politika uyumluluğu gerektirebilir. Kodlama yardımı, temel yanıtla ikili karşılaştırma gerektirebilir.

Modele dayalı değerlendirmeler bu katman için faydalıdır, ancak bunlar nesnel gerçek olarak ele alınmamalıdır. Üretim değişikliklerini engellemeden veya onaylamadan önce bunları insan tarafından derecelendirilen küçük bir numuneye göre kalibre edin. Hakemin, iş akışının risk düzeyine göre yeterli sıklıkta insan etiketleri ile aynı fikirde olup olmadığını kontrol edin. İkili jüri üyeleri için konum önyargısına, ayrıntı tercihine ve her iki cevabın da kabul edilemez olduğunu fark etmedeki başarısızlığa dikkat edin.

Destek özetlemeye yönelik pratik bir değerlendirme tablosu şu puanları verebilir:

• Sadakat: Özet, görüşmede mevcut olmayan gerçeklerin eklenmesini önlüyor mu?
• Bütünlük: müşteri sorununu, talep edilen eylemi, ilgili sipariş ayrıntılarını ve sonraki adımı içerir mi?
• İşlem yapılabilirlik: Bir temsilci, ileti dizisinin tamamını yeniden okumadan bunu kullanabilir mi?
• Politika uyumu: Onaylanmayan geri ödeme, kredi veya üst kademeye yükseltme vaatlerini önlüyor mu?

Promosyon için, birleştirin ikili karşılaştırma ile noktasal minimum puanlar. İkili kazanma oranı, bir temel çizgiyi değiştirirken faydalıdır, ancak her iki yanıtın da kötü olması durumunda mutlak başarısızlıkları gizleyebilir. İkili kalitenin mevcut modelden daha iyi, eşdeğer veya daha kötü olduğuna karar vermeden önce adayın minimum başarılı/başarısız kapılarını karşılaması gerekir.

Bir Promosyon Puan Kartı Tanımlayın

Bir ağ geçidi promosyon puan kartı kalite, gecikme, maliyet ve operasyonel güvenliği birleştirmelidir.Kesin eşikler iş yüküne bağlıdır, ancak puan kartı çalıştırma başlamadan önce açık olmalıdır.

Her aday modeli için, takip:

• Kalite geçiş oranı: gerekli deterministik ve dereceli puanlama anahtarı kapılarını geçen veri kümesi öğelerinin yüzdesi.
• İkili kazanma oranı: adayın açık uçlu mevcut referans çizgisine karşı kalite.
• p95 gecikmesi: temsili ağ geçidi ayarları altında ölçülmüştür.
• Başarılı görev başına tahmini maliyet: toplam tahmini maliyetin ham çağrılara değil, kabul edilen çıktılara bölünmesi.
• Yapılandırılmış çıkış geçerliliği: şema geçiş hızı ve onarımı oran.
• Araç çağrısı geçerliliği: izin verilen araç kullanımı, geçerli bağımsız değişkenler ve politikaya uygun eylem seçimi.
• Güvenlik veya politika hataları: retler, güvenli olmayan tamamlamalar, veri sızıntısı işaretleri veya kiracı politikası ihlalleri.
• Operasyonel uyumluluk: akış davranışı, durdurma dizileri, belirteç sınırları, zaman aşımları ve sağlayıcıya özel yanıt alanları.

Başarılı görev başına maliyet, belirteç başına maliyetten daha önemlidir. Şema doğrulamasında yüzde 12 oranında başarısız olan daha ucuz bir model, yeniden denemeler, onarımlar, manuel inceleme ve destek yükseltmelerinden sonra daha pahalı hale gelebilir. Ağ geçidi, bunu doğru bir şekilde hesaplamak için gereken faturalandırma ve kullanım analizlerine sahiptir.

Örnek: Destek Özetleme Modelini Değiştirme

Mevcut takma adın support-fast, müşteri konuşmalarını katı bir JSON nesnesinde özetlemek için kullanılan yüksek maliyetli bir modele işaret ettiğini varsayalım. Ekip daha ucuz bir adayı tanıtmak istiyor.

Promosyon iş akışı şu şekilde görünebilir:

1. 200 altın vaka, 300 redakte edilmiş üretim uç vakası ve 100 rakip politika vakası içeren veri kümesi sürümü support_summary_eval_2026_09_02 oluşturun.
2. Mevcut temel çizgiyi ve daha ucuz adayı aynı istem şablonu, şema ve maksimum çıktıyla çalıştırın belirteçler ve araç kullanılabilirliği.
3. Belirleyici geçitler uygulayın: JSON yüzde 99 veya daha yüksek geçerlilik, yüzde 97 veya daha yüksek zorunlu bilgi kapsamı, sıfır yasak geri ödeme vaadi ve sıfır geçersiz araç eylemi.
4. Model tabanlı ikili değerlendirmeyi yalnızca deterministik kontrolleri geçen öğelere uygulayın.
5. Adayın, temel, mevcut p95 gecikme bütçesinin altında kalın ve kabul edilen özet başına tahmini maliyeti azaltın.
6. Değerlendirme çalıştırma kimliğini, veri kümesi sürümünü, not veren sürümlerini, aday model kimliğini, temel model kimliğini, eşikleri, onaylayanı ve geri alma takma adı hedefini kaydedin.
7. Sınırlı bir kiracı grubu için takma adı canary, canlı şema hatalarını ve destek düzeltmelerini izleyin, ardından genişletin veya yuvarlayın geri.

Asıl nokta şu ki aday daha ucuz olduğu için kabul edilmiyor.Yalnızca değerlendirme kanıtı, daha ucuz modelin görev sözleşmesi kapsamında kaldığını gösteriyorsa kabul edilir.

Promosyon Kayıtlarını Değiştirilemez Hale Getir

Ağ geçidi daha sonraki bir olay sorusunu yanıtlamak için yeterli ayrıntıyı korumalıdır: Bu model neden tanıtıldı?

Bir terfi kararı kaydı şunları içermelidir:

• Promosyon Kimliği ve değişmez değerlendirme çalıştırma kimliği.
• Veri Kümesi Kimliği, veri kümesi sürümü ve veri kümesi kaynağı.
• Temel model kimliği ve aday model kimliği.
• İstem şablonu sürümü ve parametre kümesi.
• Araç şeması sürümleri ve yönlendirme kısıtlamaları.
• Not veren adları, sürümleri, eşikler ve kalibrasyon notları.
• Toplu sonuçlar ve başarısız öğe referanslar.
• Maliyet ve gecikme tahminleri.
• Kiracı kapsamı ve kullanıma sunma kapsamı.
• Onaylayıcı, zaman damgası ve geri alma hedefi.

Bu özellikle takma adlar için önemlidir. Uygulama ekipleri, sağlayıcı model kimliği yerine support-fast numaralı telefonu ararsa istikrar kazanırlar ancak artık takma ad değişikliklerinin yönetildiğini kanıtlama görevi ağ geçidine aittir.

Gizlilik ve Saklama Denetimleri

Üretim izleme değerlendirmeleri, gizlilik yükümlülükleri getirir. Bir izleme örnekleyici, değerlendirmelerin dahili olması nedeniyle hiçbir zaman kiracı politikasını atlamamalıdır. Bir değerlendirme öğesini saklamadan veya dışa aktarmadan önce, ham istemlerin tutulup tutulamayacağını, sağlayıcı tarafından barındırılan değerlendirme araçlarına izin verilip verilmediğini, verilerin belirli bir bölgede kalması gerekip gerekmediğini ve örneğin sırlar, düzenlenmiş veriler veya müşteri tanımlayıcıları içerip içermediğini kontrol edin.

Hassas iş yükleri için üç daha güvenli modelden birini kullanın:

• Barındırılan değerlendirmeye ham izler göndermeden ağ geçidi ortamında değerlendirmeleri çalıştırın ürünler.
• Yapıyı ve hata modunu koruyan, ancak hassas alanları kaldıran, düzenlenmiş izleri kullanın.
• Üretim içeriğini kopyalamadan, gözlemlenen hata modellerinden sentetik vakalar oluşturun.

Değişim gerçektir. Üretimden türetilen değerlendirmeler iş yüküne özgü regresyonları yakalar. Sentetik değerlendirmeler maruz kalmayı azaltır. Çoğu ekibin her ikisine de ihtiyacı vardır.

Uygulama Kontrol Listesi

• Model tanıtımını bir not defteri alıştırması olarak değil, kontrol düzlemi iş akışı olarak tanımlayın.
• Sürüm veri kümeleri, istemler, araç şemaları, sınıflandırıcılar ve eşikler.
• Altın, üretimden türetilmiş ve çekişmeli olanları ayırın vakalar.
• Model tabanlı değerlendirmelerden önce deterministik not vericiler çalıştırın.
• Yüksek etkili iş akışları için yargıçları insanlar tarafından derecelendirilen örneklere göre kalibre edin.
• Yalnızca belirteç başına maliyeti değil, kabul edilen görev başına maliyeti de ölçün.
• Takma ad veya yönlendirme politikasından önce geri alma hedeflerini zorunlu kılın değişiklikler.
• Promosyon kayıtlarını denetim ve olay incelemesi için koruyun.
• İzlemeye dayalı değerlendirmeler için kiracının iznine, saklama ve ikamet kısıtlamalarına saygı gösterin.
• Değerlendirmeler riski azaltır ancak ortadan kaldırmadığından canlı kanaryaları izleyin.

Sonuç

Yapay zeka modeli seçimi genel değerlendirmelere bağlı olmamalıdır kıyaslamalar, sürüm notları veya tek bir geliştiricinin manuel karşılaştırması.Çok modelli bir API ağ geçidinde model değişiklikleri kiracıları, bütçeleri, gecikmeyi, araç davranışını, yapılandırılmış çıktıları ve güvenlik politikasını etkiler. Bu, değerlendirmeleri üretim yönetiminin bir parçası haline getirir.

İşlem yapılabilir model basittir: temsili izleri örnekleyin, bunları politikaya göre düzenleyin ve filtreleyin, değerlendirme veri kümesini sürümlendirin, temel ve adayları çalıştırın, önce deterministik kontrollerle not verin, açık uçlu kalite için kalibre edilmiş değerlendirmeler kullanın, kaliteyi gecikme ve maliyetle birleştirin ve takma adları veya yönlendirme kurallarını değiştirmeden önce değişmez bir tanıtım kaydı gerektirir.

Sonuç, modelin benimsenmesinde daha yavaş bir süreç değildir. Kanıtlarla birlikte modelin benimsenmesidir. Daha ucuz ve daha hızlı adaylar hâlâ üretime geçebilir ancak tasarrufların sessiz görev regresyonundan gelmediğini kanıtlamaları gerekir.

İlgili okuma

• dahili model takma adları ve geri almaya hazır tanıtım
• model kullanımdan kaldırma testi ve taşıma runbooks
• ağ geçidi izlemeleri ve güvenli istem günlüğü