API Ağ Geçidi Aracılığıyla Tarayıcı Güvenli Gerçek Zamanlı Yapay Zeka: Geçici Belirteçler, Kiracı Politikası ve Sesli Oturum Kontrolleri
Tarayıcı ve mobil ses yapay zekası için pratik bir mimari: Ağ geçidi kiracı politikasını, bütçe kontrollerini, araç kontrollerini ve denetim izlerini uygularken, kısa ömürlü müşteri kimlik bilgileriyle gerçek zamanlı medyanın gecikme süresini düşük tutun.
Tarayıcı ve mobil uygulamalar, uzun ömürlü sağlayıcı API anahtarlarını almamalıdır. Ancak gerçek zamanlı ses yapay zekası için her ses paketinin bir ağ geçidi üzerinden gönderilmesi gecikmeyi, operasyonel maliyeti ve arıza modlarını artırabilir. Daha iyi bir model, ağ geçidini kontrol düzleminde tutmaktır: Kullanıcının kimliğini doğrulayın, kiracı politikasını uygulayın, bütçe ayırın, kısa ömürlü, dar bir gerçek zamanlı kimlik bilgisi oluşturun ve gecikmeye duyarlı medyanın, uygun olduğunda sağlayıcının gerçek zamanlı aktarımını kullanmasına izin verin.
Bu makalede, bir AI API ağ geçidi aracılığıyla sesli aracılar, çağrı asistanları, mobil öğretmenler, destek yardımcı pilotları veya uygulama içi ses arayüzleri oluşturan ekipler için bir uygulama modeli açıklanmaktadır. Amaç, kiracı yönetimini kaybetmeden tarayıcı güvenliğini sağlamaktır.
Sorun: Doğrudan gerçek zamanlı bağlantılar kontrollerinizi atlıyor
Sade bir sunucu tarafı proxy'si çekicidir çünkü anahtarları ve gözlemlenebilirliği merkezileştirir. Standart metin istekleri için bu genellikle doğru modeldir. Gerçek zamanlı ses farklıdır. Bir sesli oturum, sürekli mikrofon girişi, çift yönlü ses çıkışı, kesintiler, araç çağrıları ve katı gecikme beklentilerini içerebilir. Tüm medyayı ağ geçidiniz üzerinden proxy olarak kullanmak, ağ geçidini bir politika ve faturalandırma hizmeti yerine bant genişliği yoğun bir medya aktarımına dönüştürebilir.
Tarayıcıdan sağlayıcıya doğrudan bağlantılar gecikmeyi çözer ancak farklı bir sorun yaratır:
- Tarayıcı, standart sağlayıcı API anahtarını güvenli bir şekilde tutamaz.
- Uygulama doğrudan bağlanırsa kiracı bütçe kontrolleri atlanabilir.
- Model, bölge, ses, yöntem ve araç kısıtlamaları istemci tarafının vaatleri haline gelir.
- Kullanım ilişkilendirmesi tamamlanmadı veya gecikti.
- Güvenlik ekipleri, oturum başlamadan önce denetlenebilir bir karar noktasını kaybeder.
Pratik tasarım "her baytın proxy'si" değildir. "Her oturumda komisyoncudur."
Gerçekler, öneriler ve tahminler
Gerçekler: Gerçek zamanlı yapay zeka sağlayıcıları WebRTC, WebSocket ve SIP gibi düşük gecikmeli aktarımları giderek daha fazla destekliyor. OpenAI'nin Gerçek Zamanlı API'sine yönelik genel belgeler, WebRTC de dahil olmak üzere düşük gecikmeli gerçek zamanlı arayüzleri açıklar. Azure OpenAI gerçek zamanlı WebRTC kılavuzu, WebRTC bağlantısını başlatmadan önce geçici bir belirteç almak için arka uç belirteç hizmetini kullanan bir tarayıcı uygulamasını açıklar ve bir istemci uygulamasında standart bir API anahtarının kullanılmasına karşı uyarıda bulunur. OpenAI Agents SDK'nın gerçek zamanlı rehberliği ayrıca bir arka ucun kısa ömürlü geçici bir istemci belirteci oluşturduğu ve tarayıcının bunu bir WebRTC bağlantısı kurmak için kullandığı bir akış önerir.
Öneriler: Ağ geçidini oturum yetkilisi olarak değerlendirin. Gerçek zamanlı bir oturumun olup olmayacağına, hangi modelle, hangi bölgede, hangi kiracıya, hangi bütçeyle, hangi araçlarla yapılabileceğine karar vermelidir. Müşterinin yalnızca söz konusu onaylanmış oturumu başlatmak için gereken minimum kısa süreli kimlik bilgisini alması gerekir.
Tahminler: Gerçek zamanlı sağlayıcı API'leri bir süre daha dengesiz kalacak. Belirteç yaşam süreleri, oturum yapılandırma alanları, sunucu tarafı bağlantı kesme denetimleri, kullanım etkinlikleri ve bölge desteği farklılık gösterecektir. Ağ geçitleri, tüm gerçek zamanlı API'lerin tamamen taşınabilir olduğunu iddia etmek yerine, sağlayıcı yeteneklerini açık bir şekilde modellemelidir.
Referans mimarisi: gerçek zamanlı kontrol düzlemi olarak ağ geçidi
Tarayıcı açısından güvenli bir gerçek zamanlı akış beş bölümden oluşur:
- İstemci uygulaması: Sesli oturum isteyen tarayıcı veya mobil uygulama.
- Uygulama arka ucu: Son kullanıcının kimliğini doğrular ve ağ geçidini çağırır veya ağ geçidi arka uç yığınının bir parçasıysa ağ geçidi jetonu oluşturma mantığını katıştırır.
- AI API ağ geçidi: Kiracı politikasını zorunlu kılar, model profilini çözer, bütçe ayırır, oturumu kaydeder ve geçici sağlayıcı istemci sırrını basar.
- Gerçek zamanlı sağlayıcı: WebRTC'yi veya başka bir gerçek zamanlı aktarımı sonlandırır.
- Defter ve analiz: Sağlayıcı etkinlikleri, süre verileri veya son kullanım raporları mevcut olduğunda kullanımı ayarlar.
Ağ geçidinin yetkili kalması için her ses karesini aktarması gerekmez. Oturum oluşturma kararına ve mutabakat yoluna sahip olmalıdır.
Önerilen istek akışı
- Kullanıcı, istemci uygulamasında bir ses özelliği açar.
- İstemci arka ucunuzu arar:
POST /voice/sessions. - Arka uç, kullanıcı oturumunu doğrular ve kiracı kimliği, kullanıcı kimliği, amaçlanan özellik, cihaz meta verileri ve kaynağıyla birlikte ağ geçidine bir nane isteği iletir.
- Ağ geçidi politikayı ve bütçeyi değerlendirir.
- Ağ geçidi, sağlayıcıyla iletişime geçmeden önce yerel bir
realtime_sessionkaydı oluşturur. - Ağ geçidi, sağlayıcıyı korumalı çalışma zamanı kimlik bilgileriyle arar ve dar kapsamlı, geçici bir gerçek zamanlı oturum oluşturur.
- Ağ geçidi, tarayıcıya yalnızca geçici istemci sırrını ve onaylanmış oturum meta verilerini döndürür.
- Tarayıcı, WebRTC bağlantısını doğrudan sağlayıcıyla kurar.
- Ağ geçidi, sağlayıcı kullanım etkinliklerini, geri aramaları, yoklama sonuçlarını veya muhafazakar süreye dayalı tahminleri alır.
- Defter ayrılan bütçeyi belirler ve denetim etkinliklerini yazar.
Baskı öncesi politika kontrolleri
En önemli uygulama noktası, geçici tokenın basılmasından önceki zamandır. Tarayıcı kısa süreli bir kimlik bilgisine sahip olduğunda, sağlayıcı oturum güncelleme, bağlantıyı kesme, gözlemci veya geri arama kontrollerini desteklemediği sürece oturum ortasında uygulama sınırlı olabilir.
Ağ geçidinin en azından şunları kontrol etmesi gerekir:
- Kiracı durumu: aktif, askıya alınmış, deneme amaçlı, ön ödemeli, faturalı veya karantinaya alınmış.
- Kullanıcı yetkisi: bu kullanıcının yalnızca yazılı sohbeti değil, gerçek zamanlı sesi de kullanıp kullanamayacağı.
- İzin verilen model profili: istemci tarafından sağlanan rastgele model kimlikleri değil, onaylanmış gerçek zamanlı model veya dağıtım.
- Bölge ve saklama politikası: seçilen sağlayıcı bölgesi ve özellik kümesinin kiracının veri kurallarıyla eşleşip eşleşmediği.
- Maksimum oturum süresi: örneğin, plana göre 5, 15 veya 30 dakika.
- İzin verilen yöntemler: ses girişi, ses çıkışı, metin, resim veya araç çağrıları.
- Ses ve talimat şablonu: politikaya göre sabit veya sınırlanmıştır.
- Kullanılabilir bütçe: ön ödemeli bakiye, ayrılmış aylık ödenek veya özellik başına harcama tavanı.
- Eşzamanlılık: kiracı düzeyinde ve kullanıcı düzeyinde aktif ses oturumları.
- Kötüye kullanım kontrolleri: kullanıcı riski işaretleri, kaynak itibarı, alışılmadık çağrı hızı veya kiracı kapatma anahtarı.
Güvenli bir varsayılan, belirsiz istekleri reddetmektir. İstemci, kiracının gerçek zamanlı politikasında yer almayan bir model, araç, ses veya bölge isterse ağ geçidi, erişimi sessizce genişletmek yerine net bir politika hatası döndürmelidir.
Oturum kaydı tasarımı
Sağlayıcının kimlik bilgilerini basmadan önce ağ geçidi tarafında bir oturum kaydı oluşturun. Bu, sağlayıcı oluşturma işlemi başarılı olsa ancak tarayıcı hiçbir zaman bağlanmasa bile size bir denetim dayanağı sağlar.
<ön>Varsayılan olarak ham mikrofon sesini veya tam istemleri saklamayın. Yapılandırma karmalarını, kimlikleri, politika kararlarını ve denetim, destek ve faturalandırma için yeterli olan minimum meta verileri saklayın. Kayıt gerekiyorsa bunu açık, rızaya dayalı ve kiracı politikası odaklı yapın.
Geçici token basımı uç noktası
Ağ geçidine bakan bir uç nokta şöyle görünebilir:
POST /v1/realtime/sessions
Yetkilendirme: Taşıyıcı
İçerik Türü: application/json
{
"kiracı_id": "kiracı_123",
"end_user_id": "user_hash_456",
"özellik": "support_voice_agent",
"kaynak": "https://app.example.com",
"device_nonce": "8f3b...",
"requested_profile": "ses desteği standardı"
Yanıt, yukarı akış çalışma zamanı anahtarınızı açığa çıkarmamalıdır:
<ön>Vermeyi kaynağa, kimliği doğrulanmış kullanıcı oturumuna, kiracıya ve bir defaya bağlayın. Sağlayıcı tüm bu bağlamaları yerel olarak desteklemeyebilir; bu nedenle ağ geçidinde yapabileceklerinizi uygulayın: nane denemelerini hız sınırıyla sınırlayın, beklenmeyen kaynakları reddedin, cihaz meta verilerini kaydedin ve belirtecin ömrünü kısa tutun.
Oturum şablonları: varsayılan olarak daraltılır
Gerçek zamanlı bir oturum şablonu, genel bir sohbet tamamlama isteğinden daha kısıtlayıcı olmalıdır. Sesli oturumlar etkileşimlidir, gerçek zamanlı olarak incelenmesi daha zordur ve beklenenden daha uzun sürebilir.
Önerilen şablon alanları şunları içerir:
- Sabit model veya dağıtım: ağ geçidi tarafı model profili tarafından seçilir.
- Talimatlar: kiracı tarafından onaylanan değişkenlere sahip, sunucu tarafından kontrol edilen bir bilgi istemi şablonu.
- Ses: izin verilenler listesinden seçildi.
- Modaliteler: Ürün ihtiyaç duymadığı sürece metin, resim veya araç modlarını devre dışı bırakın.
- Giriş ses ayarları: desteklendiğinde dönüş algılama, transkripsiyon davranışı veya sessizliği işleme.
- Çıktı kısıtlamaları: maksimum yanıt uzunluğu veya desteklendiği durumlarda yanıt davranışı.
- Araç izin verilenler listesi: yalnızca özellik için gerekli araçlar.
- Oturum ömrü: kısa kimlik bilgilerinin geçerlilik süresi artı maksimum çağrı süresi.
Katı şablonlar esnekliği azaltır ancak maliyeti, uyumluluğu ve desteği kolaylaştırır. Ürün ekiplerinin dinamik seslere veya talimatlara ihtiyacı varsa isteğe bağlı istemci yapılandırmasını sağlayıcıya iletmek yerine kontrollü profil çeşitlerini ortaya çıkarın.
Gerçek zamanlı ses için bütçe kontrolleri
Gerçek zamanlı kullanımın nihai sağlayıcı kullanımı gelmeden önce fiyatlandırılması daha zor olabilir. Bir oturum beş saniye veya yirmi dakika sürebilir. Ses girişi, ses çıkışı, transkripsiyon, araç çağrıları ve metin belirteçlerini içerebilir. Bu nedenle ağ geçidinin rezervasyon, sınırlar ve mutabakatı birleştirmesi gerekir.
Baskıdan önce
- Maksimum süre, model, yöntemler ve kiracı planından en kötü veya muhafazakar bir oturum maliyetini tahmin edin.
- Müşteri sırrını vermeden önce bütçe ayırın.
- Kiracının yeterli bakiyesi yoksa veya günlük ses limitlerine ulaşmışsa yeni oturumları reddedin.
Oturum sırasında
- Etkin oturumları ve beklenen yazma oranını izleyin.
- Kiracı ve kullanıcı eşzamanlılık sınırlarını uygulayın.
- Varsa sağlayıcı tarafından desteklenen sonlandırma veya oturum güncelleme özelliklerini kullanın.
- Anormal oturum süresi, tekrarlanan yeniden bağlanmalar veya olağandışı ses kullanımı durumunda uyarıları tetikleyin.
Oturumdan sonra
- Mevcut olduğu durumlarda sağlayıcı kullanım etkinliklerini veya nihai kullanım raporlarını alın.
- Ayrılan bütçeyi gerçek maliyete ayarlayın.
- Tam kullanımın gecikmesi veya eksik olması durumunda mutabakata kadar ihtiyatlı bir rezervasyon yapın.
- Kullanımı kiracı, kullanıcı, özellik, model profili ve oturum kimliğiyle ilişkilendirin.
Bu, yanıt anında eşzamanlı kısa mesajla faturalandırmaya göre daha az kesindir, ancak rezervasyon olmadan doğrudan kimlik bilgileri vermekten operasyonel olarak daha güvenlidir.
Gerçek zamanlı oturumların içindeki araç çağrıları
Gerçek zamanlı sesli temsilciler, araçları arayabildiklerinde genellikle daha kullanışlı hale gelirler: hesap arama, randevu alma, destek talebi güncelleme veya iş akışını tetikleme. Aracın yürütülmesini ses aktarımından ayrı olarak ele alın.
Tarayıcının medya bağlantısı, yan etkilerin gerçekleştirilmesine izin verildiği anlamına gelmemelidir. Ağ geçidi veya arka uç şunları zorunlu kılmalıdır:
- Araç kaydı: her aracın bir sahibi, şeması, kapsamları ve risk düzeyi vardır.
- İzin verilenler listeleri: oturum şablonları tam olarak hangi araçların kullanılabilir olduğunu listeler.
- Onay kapıları: Yan etkili eylemler kullanıcı onayını, insan onayını veya politika onayını gerektirir.
- Ayrı kimlik bilgileri: araç kimlik bilgileri hiçbir zaman tarayıcı oturumuna eklenmez.
- Birleştirilmiş denetim takibi: her araç çağrısı, gerçek zamanlı oturum kimliğine referans verir.
Örneğin, bir destek sesli temsilcisinin lookup_order_status'u otomatik olarak aramasına izin verilebilir, ancak refund_payment açık bir onay ve bir arka uç onay olayı gerektirebilir. Gerçek zamanlı sağlayıcı görüşmeyi düzenleyebilir ancak ağ geçidinizin izin sınırını yönetmesi gerekir.
Her baytın proxy'si olmadan görünürlük
Doğrudan WebRTC medya akışı, ağ geçidi gecikmesini ve bant genişliği yükünü azaltır ancak görünürlük, sağlayıcı etkinliklerine ve kendi oturum meta verilerinize daha fazla bağımlı hale gelir. Birden çok kanıt kaynağına göre analiz tasarlayın:
- Ağ geçidinden oturum oluşturma kayıtları.
- Bağlanma, bağlantının kesilmesi, yeniden bağlanma girişimi, mikrofonun reddedilmesi veya çağrının sonlandırılması gibi istemci tarafı yaşam döngüsü olayları.
- Sağlayıcı oturum kimlikleri, kullanım etkinlikleri veya son kullanım kayıtları.
- Sağlayıcı kullanımı geciktiğinde süreye dayalı tahminler.
- Oturum kimliğiyle birleştirilen araç çağrısı günlükleri.
- Bütçe rezervasyonu ve ödeme kayıtları.
Kontrolleri başlatmadan önce sağlayıcı telemetrisinin mükemmel olmasını beklemeyin. Muhafazakar rezervasyonlar ve net ilişkilendirmelerle başlayın, ardından sağlayıcı kullanım raporları olgunlaştıkça ödeme doğruluğunu iyileştirin.
Güvenlik kontrol listesi
- Standart sağlayıcı API anahtarlarını asla tarayıcıya veya mobil istemcilere göndermeyin.
- Gerçek zamanlı oturum başlatmak için kısa ömürlü geçici istemci sırlarını kullanın.
- Belirteç basımından önce son kullanıcının kimliğini doğrulayın.
- Mümkün olduğunda basım kararlarını kiracıya, kullanıcıya, kaynağa, tek seferlik ve cihaz meta verilerine bağlayın.
- Sağlayıcı çalışma zamanı kimlik bilgilerini bir arka uç kasasında veya ağ geçidi gizli deposunda saklayın.
- Sağlayıcı basımından önce bir oturum denetim satırı kaydedin.
- Rastgele istemci yapılandırması yerine kiracı onaylı oturum şablonlarını kullanın.
- Eşzamanlılık, günlük kullanım ve maksimum süre sınırlarını uygulayın.
- Yan etkiler için araç izin verilenler listelerini ve onay kapılarını kullanın.
- Varsayılan olarak ham istemi ve ses saklamayı en aza indirin.
- Belirteç yaşam süreleri, bölgeler, araçlar, kullanım etkinlikleri ve sonlandırma kontrolleri için bir sağlayıcı yetenek matrisi sağlayın.
Sağlayıcı yetenek matrisi
Gerçek zamanlı API'ler farklı olduğundan, ağ geçidi bağdaştırıcınızı varsayımlar yerine yeteneklere göre modelleyin. Basit bir matris, yönlendirme ve politika kararlarını yönlendirebilir:
<ön>Kiracı AB'de ikamet ve sunucu tarafında sonlandırma gerektiriyorsa, ağ geçidi yalnızca her ikisini de karşılayan sağlayıcılara ve dağıtımlara yönlendirmelidir. Hiçbir sağlayıcı politikayı karşılamıyorsa kapatılır.
Taşıma yolu
Her kontrolü ilk günde oluşturmanıza gerek yok. Pratik bir kullanıma sunma yöntemi:
- Yalnızca proxy oturumu oluşturma: medyayı doğrudan tutun ancak tüm gerçek zamanlı oturumların arka uç veya ağ geçidi tarafından basılmasını gerektirir.
- Politika şablonları ekleyin: müşteri tarafından sağlanan model ve talimat alanlarını onaylanmış profillerle değiştirin.
- Bütçe rezervasyonu ekleyin: Jeton verilmeden önce muhafazakar oturum maliyetini ayırın.
- Yaşam döngüsü analizleri ekleyin: oturum başlangıcını, bağlanmayı, bağlantıyı kesmeyi, süreyi, sağlayıcı oturum kimliğini ve ödeme durumunu toplayın.
- Araç yönetimi ekleyin: gerçek zamanlı araç çağrıları için izin verilenler listelerini ve onayları zorunlu kılın.
- Sağlayıcı özelliği yönlendirmesi ekleyin: Sağlayıcıları bölgeye, modaliteye, etkinlik desteğine ve sonlandırma kontrollerine göre seçin.
- İsteğe bağlı gözlemci veya kayıt iş akışları ekleyin: yalnızca uyumlu, izin verilen ve kiracı tarafından onaylanan durumlarda.
Harekete geçirilebilir sonuç
Gerçek zamanlı ses yapay zekası için AI API ağ geçidinin otomatik olarak medya aktarımına dönüşmemesi gerekir. Daha güvenli ve gecikme süresi daha düşük olan mimari, ağ geçidinin kontrol düzleminin sorumluluğunu üstlenmesini sağlar: kullanıcıların kimliğini doğrulamak, kiracı politikasını uygulamak, bütçe ayırmak, bir denetim kaydı oluşturmak, dar kapsamlı, geçici bir kimlik bilgisi oluşturmak ve oturumdan sonra kullanımı uzlaştırmak.
Temel uygulama kuralı basittir: Tarayıcılar kısa ömürlü oturum sırlarını alabilir, uzun ömürlü sağlayıcı anahtarlarını asla alamaz. Geriye kalan her şey bu sınırdan kaynaklanır: katı şablonlar, kökene duyarlı basım, eşzamanlı oturum sınırları, araç onayları, kullanım yerleşimi ve sağlayıcı yetenek matrisleri. Bu, ürün ekiplerine API anahtar yönetimi, AI API maliyet kontrolü, ekip API yönetişimi veya AI kullanım analitiğinden vazgeçmeden gerçek zamanlı ses deneyimleri sunar.