Model değişikliği
Reklamı yapılan model adının arkasında daha ucuz veya başka bir şekilde farklı bir model sunulabilir. Yüksek kaliteli bir yanıt tek başına iddia edilen kimliği kanıtlamaz.
AI API güveni ve model kimliği
Bir AI API'nin gerçekten iddia ettiği model gibi davranıp davranmadığını doğrulama
Kara kutu uç noktası, istekleri farklı, daha ucuz veya sessizce değiştirilen bir arka uca yönlendirirken pahalı bir model adının reklamını yapabilir. Model Gate, iddiayı tarihli olgusal incelemeler, saf hatırlama kesme kanıtları, kimlik tutarlılığı sinyalleri ve versiyonlanmış bağımsız bir yargıçla davranışsal olarak test eder.
Bir harici istekHarici API anahtarı tarayıcıda kalıyorHerkese açık kalıcı bağlantı raporlarıBenchmark v1.7 model eşleşmesi
Neden bir LLM API'sini doğrulamalıyım?
API yanıtındaki model adı uzaktan doğrulama değil, bir iddiadır
Müşteriler genellikle reklamı yapılan modele, fiyata ve beklenen yeteneğe göre bir AI API seçer. Ancak bir kara kutu API'sinde müşteri normalde sunum ağırlıklarını veya yönlendirme kararını denetleyemez. Gerçek davranış başka bir arka uçtan gelirken bir proxy, satıcı veya ağ geçidi beklenen model tanımlayıcısını döndürebilir. Bu, pratik bir model değiştirme ve sessiz yönlendirme güven sorunu yaratır.
Sessiz yönlendirme değişiklikleri
Bir uç nokta, genel model dizesini değiştirmeden sağlayıcıları, değişkenleri, nicelemeyi veya yönlendirme politikasını değiştirebilir. Tekrarlanan kamuya açık kanıtlar davranışsal sapmanın ortaya çıkmasına yardımcı olur.
Bilgi kesim tarihi uyuşmazlığı
Yeni bir kimlik iddiasında bulunan bir model, defalarca dünyanın yalnızca daha eski bir durumunu hatırlatabilir. Saf hatırlama zamansal araştırmaları, tahminleri bilgi olarak saymadan bu uyumsuzluğu görünür hale getirir.
İlgili araştırma
Akademik çalışma, kara kutu LLM API'lerinde model değiştirmeyi resmileştirdi ve yalnızca çıktı doğrulamanın neden kriptografik kanıt değil de yararlı kanıt olduğunu gösteriyor. Bu nedenle Model Gate, uzaktan doğrulama talep etmek yerine davranışsal tutarlılığı ve açık sınırlamaları rapor eder. Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs ↗
Genel doğrulama kaydı
Yeni bir test yayınlayınYayınlanan testleri modele veya uç noktaya göre arayın
Yayınlanan her çalıştırmanın kalıcı bir rapor URL'si vardır. Yeni tam rapor çalıştırmaları, çıkarılan test edilmiş model yanıtını, kabul edilen tüm soruların derecelendirilmesini, kaynakları, temel etiketleri ve sonucu denetlemek veya paylaşmak için gereken yargıç muhakemesini içerir.
8 yayınlanan raporlarArama filtreleri dizine eklenmez; bireysel rapor kalıcı bağlantıları vardır.
97/100
CONSISTENTgpt-6-astra
Değerlendirici tarafından belirlendi: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Olguları hatırlama
- —
- Güncellik
- —
- Halüsinasyon
- —
- Kalibrasyon
- —
88/100
PLAUSIBLEgpt-6-astra
Değerlendirici tarafından belirlendi: GPT 6 Astra · OpenAI
https://api.model-gate.com/v1/chat/completions
- Olguları hatırlama
- —
- Güncellik
- —
- Halüsinasyon
- —
- Kalibrasyon
- —
8/100
HIGHLY_INCONSISTENTclaude-opus-5
Değerlendirici tarafından belirlendi: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Olguları hatırlama
- 0
- Güncellik
- 0
- Halüsinasyon
- 96
- Kalibrasyon
- 88
38/100
SUSPICIOUSclaude-opus-5
Değerlendirici tarafından belirlendi: Claude Opus 5 · Anthropic
https://madclaude.cloud/v1/messages
- Olguları hatırlama
- 0
- Güncellik
- 0
- Halüsinasyon
- 100
- Kalibrasyon
- 100
93/100
CONSISTENTclaude-opus-4-6
Değerlendirici tarafından belirlendi: Claude Opus 4.6 · Anthropic
https://api.model-gate.com/v1/chat/completions
- Olguları hatırlama
- 94
- Güncellik
- 92
- Halüsinasyon
- 94
- Kalibrasyon
- 93
87/100
SUSPICIOUSdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Olguları hatırlama
- 88
- Güncellik
- 88
- Halüsinasyon
- 88
- Kalibrasyon
- 80
87/100
CONSISTENTdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Olguları hatırlama
- 83
- Güncellik
- 82
- Halüsinasyon
- 83
- Kalibrasyon
- 80
100/100
PLAUSIBLEdeepseek-v4-flash
https://api.model-gate.com/v1/chat/completions
- Olguları hatırlama
- 100
- Güncellik
- 100
- Halüsinasyon
- 100
- Kalibrasyon
- 100
Bağımsız topluluk kanıtı
Tutarlı güncel karşılaştırmalı kimlik kanıtına sahip uç noktalar
Topluluk kalifikasyonu, son 30 gün içinde aynı uç nokta, talep edilen model, protokol ve değerlendirici için Model Gate hesabı başına en son yayınlanan v1.7 çalıştırmasını kullanır. Model Eşleştirme puanı kimlik kanıtıdır; topluluk yeterliliği hala tutarlı bağımsız kimlik değerlendirmeleri gerektirir.
Henüz hiçbir uç nokta mevcut karşılaştırmalı topluluk tutarlılığına ulaşmadı.
Bu bir hata değil: Kalifikasyon kasıtlı olarak birden fazla bağımsız cari kıyaslama hesabı gerektirir. Devam eden kanıtlar ve geçmiş kıyaslama çalışmaları boş bir tablo yerine aşağıda gösterilmektedir.
Tarihsel kıyaslama kanıtı
claude-opus-5 · https://madclaude.cloud/v1/messages2 testler · 1 hesaplarmodel-verification-single-request-v1.4, model-verification-single-request-v1.5 · Sep 8, 2026claude-opus-4-6 · https://api.model-gate.com/v1/chat/completions1 testler · 1 hesaplarmodel-verification-single-request-v1.4 · Sep 8, 2026deepseek-v4-flash · https://api.model-gate.com/v1/chat/completions3 testler · 1 hesaplarmodel-verification-single-request-v1.1, model-verification-single-request-v1.2, model-verification-single-request-v1.3 · Sep 7, 2026Mevcut yeterlilik kuralı3+ bağımsız test uzmanları · ≥2/3 CONSISTENT · 0 HIGHLY_INCONSISTENT · ≥70% ortalama kimlik güveni
Yöntem
Model Gate hangi testleri ve nasıl yapıyor?
Karşılaştırma, yalnızca model adı alanıyla taklit edilmesi zor olan davranışları ölçmek için tasarlanmıştır. Anlamsal yanıt kalitesini, saf parametre benzeri hatırlamayı, çekimserliği/kalibrasyonu ve kimlik tutarlılığını kasıtlı olarak ayırır.
- 1
Tarihli bir meydan okuma oluşturun
Benchmark v1.7 ilk olarak katalog referans sınırı etrafında yeniden kullanılabilir soru bankasını kullanıyor. Banka talep edilen ayları karşılayamıyorsa, ön plandaki bir hakim araştırma talebi eksik olan sorunu giderir ve bankaya kullanılabilir yeni gerçekler ekler.
- 2
Sonuca dayalı soruları seçin
Sorular planlanmış veya öngörülebilir gerçeklerden ziyade tarihli sonuçları temsil eder. Kaynak meta verileri denetim bağlamıdır ve kritik olmayan alıntı kusurları, başka şekilde kullanılabilir bir soruyu ve beklenen yanıtı engellemez.
- 3
Tam olarak bir tane test edilmiş uç nokta isteği yapın
Tarayıcı, kapalı kitap meydan okumasını doğrudan harici HTTPS uç noktasına gönderir. Harici kimlik bilgisi hiçbir zaman Model Gate'den geçmez.
- 4
Her cevabı anlamsal olarak değerlendirin
Biçimlendirmesi kusurlu olsa bile, anlamsal derecelendirme için tarayıcı tarafı yargıcına boş olmayan başarılı bir model yanıtı gönderilir. Değerlendirici, kanıtın mevcut olduğu durumlarda GERİ ÇAĞIRMA / ÇIKARMA / TAHMİN / BİLİNMEYİ korur.
- 5
Saf hatırlama sınırı oluşturun
Yalnızca doğru veya yanlış GERİ ÇAĞIRMA kesme kanıtıdır. Doğru tahminler ve çıkarımlar görünür kalır ancak daha sonra modelin bilgi sınırlarını zorlayamaz. Kanıt yetersizse, rapor bir kesinti icat etmek yerine bunu söylüyor.
- 6
Sürümlendirilmiş bir hakem değerlendirme tablosuyla puan verin
Başlık Model Eşleştirme puanı, ortalama davranış teşhisini değil, hakem kimliği değerlendirme tablosunu kullanır. Resmi kesinti meta verileri, güvenilir yönetici referans çalıştırmalarından elde edilen Gözlemlenen kesintiden ayrı kalır.
Model eşleşmesi
İddia edilen referans modeliyle davranışsal tutarlılık için manşet jüri puanı.
Bilgi kanıtı
Gerçek Hatırlama ve Bilgi Yeniliği teşhisi, model bilgisini gösterdi.
Halüsinasyon Direnci
Yararlı davranış kalitesi, ancak model kimliğine puan eklemez.
Kalibrasyon
Güven dürüstlüğü, model uyumunu şişirmeden görünür kalır.
Yorumlama ve sınırlamalar
Davranışsal kanıtlar faydalıdır ancak kriptografik kanıt değildir
Güçlü bir rapor neyi destekler?
- Uç nokta, bu kıyaslamada iddia edilen model profiliyle tutarlı bir şekilde davrandı.
- Tarihli geri çağırma modeli, referans kesme kanıtıyla uyumludur.
- Modelin çekimserliği, güveni ve öz bildirimi olgusal davranışla birlikte değerlendirildi.
Neyi kanıtlayamaz
- Kesin sunum ağırlıkları, niceleme veya donanım yalnızca metinle kanıtlanamaz.
- Bir sağlayıcı, farklı istekleri farklı arka uçlara yönlendirebilir.
- Bir test, kalıcı bir sertifikasyon değil, bir gözlemin kanıtıdır.
- Test, test uzmanının tarayıcısında çalıştığından, teknik açıdan yetkin bir test uzmanı, istemci tarafı kodunu veya trafiğini değiştirebilir; Kamuya açık raporlar uzaktan tasdik değil, davranışsal kanıtlardır.
Herkese açık tekrarlama neden önemlidir?
- Bağımsız hesaplar tek bir test cihazına olan bağımlılığı azaltır.
- Sürümlendirilmiş kıyaslamalar önemli ölçüde farklı metodolojileri ayrı tutar.
- Kalıcı raporlar, değişiklikleri ve anlaşmazlıkları bağlanabilir ve denetlenebilir hale getirir.
FAQ
Yapay zeka modeli doğrulamasıyla ilgili sorular
Bir API modeli adı, isteğe hangi modelin hizmet ettiğini kanıtlayabilir mi?
Hayır. Bir kara kutu API'sinin döndürdüğü model tanımlayıcı, o API tarafından sağlanan meta verilerdir. Model Gate, bunu bir iddia olarak ele alır ve davranışı, tekrarlanan gözlemlenen yanıtlarla yönetici tarafından toplanan sürümlendirilmiş bir referansla karşılaştırır.
Model Doğrulaması hangi sorunu çözüyor?
Model değişiminin, sessiz yönlendirme değişikliklerinin ve kara kutu yapay zeka uç noktasının davranışının müşteriye bildirilen model kimliğiyle eşleşmeyebileceği diğer durumların araştırılmasına yardımcı olur.
Yüksek puan kriptografik olarak model kimliğini kanıtlar mı?
Hayır. Model Doğrulaması uzaktan doğrulama değil, davranışsal kanıttır. Hakim, sağlayıcının kesin kimliğini değil, davranışsal yazışmaları değerlendirir ve hiçbir sunucu eşiği sonucu değiştirmez.
Bilgi kesintisi nasıl test edilir?
Etkinleştirilmiş bir yönetici toplayıcı, tarihli banka sorularına tekrarlanan yanıtlar alır. Hazır bir referans, istikrarlı gözlemlenen RECALL'ın her iki tarafında da 16 ayı kapsar. Bir kullanıcı testi, araştırma yapılmadan kaydedilmiş 32 soruyu seçer ve hakemden her iki yöndeki sapmaları değerlendirmesini ister.
Sunucu model kimliği rozeti veriyor mu?
Hayır. Mevcut referansa dayalı raporlar, sunucu puanı kuralları veya topluluk kimliği eşiği olmadan jüri değerlendirmesini korur. Tarihsel yöntemler ayrı olarak etiketlenmiştir.
Harici API anahtarları yayınlanıyor mu?
Hayır. Harici kimlik bilgisi test cihazının tarayıcısında kalır ve hiçbir zaman genel bir rapora dahil edilmez. Yeni isteğe bağlı tam raporlar, yalnızca değerlendirmeyi denetlenebilir kılmak için gereken çıkarılan model metnini tutar.
Yapay zeka uç noktasının arkasındaki modeli kontrol edin
Bir tarayıcı tarafı sorgulaması çalıştırın, izlemenin tamamını inceleyin ve isteğe bağlı olarak diğerlerinin denetleyip paylaşması için kalıcı bir rapor yayınlayın.