API Ağ Geçidi Aracılığıyla Tarayıcı Güvenli Gerçek Zamanlı Yapay Zeka: Geçici Belirteçler, Kiracı Politikası ve Sesli Oturum Kontrolleri

Tarayıcı ve mobil uygulamalar, uzun ömürlü sağlayıcı API anahtarlarını almamalıdır. Ancak gerçek zamanlı ses yapay zekası için her ses paketinin bir ağ geçidi üzerinden gönderilmesi gecikmeyi, operasyonel maliyeti ve arıza modlarını artırabilir. Daha iyi model, ağ geçidini kontrol düzleminde tutmaktır: kullanıcının kimliğini doğrulamak, kiracı politikasını uygulamak, bütçe ayırmak, kısa ömürlü, dar bir gerçek zamanlı kimlik bilgisi oluşturmak ve gecikmeye duyarlı medyanın, uygun olduğunda sağlayıcının gerçek zamanlı aktarımını kullanmasına izin vermek.

Bu makalede, AI API ağ geçidi aracılığıyla sesli aracılar, çağrı asistanları, mobil öğretmenler, destek yardımcı pilotları veya uygulama içi ses arayüzleri oluşturan ekipler için bir uygulama modeli açıklanmaktadır. Amaç, kiracı yönetimini kaybetmeden tarayıcı güvenliğini sağlamaktır.

Sorun: Doğrudan gerçek zamanlı bağlantılar kontrollerinizi atlıyor

Sade bir sunucu tarafı proxy'si çekicidir çünkü anahtarları ve gözlemlenebilirliği merkezileştirir. Standart metin istekleri için bu genellikle doğru modeldir. Gerçek zamanlı ses farklıdır. Bir sesli oturum, sürekli mikrofon girişi, çift yönlü ses çıkışı, kesintiler, araç çağrıları ve katı gecikme beklentilerini içerebilir. Tüm medyayı ağ geçidiniz üzerinden proxy olarak kullanmak, ağ geçidini bir politika ve faturalandırma hizmeti yerine bant genişliği yoğun bir medya aktarımına dönüştürebilir.

Tarayıcıdan sağlayıcıya doğrudan bağlantılar gecikmeyi çözer ancak farklı bir sorun yaratır:

• Tarayıcı, standart sağlayıcı API anahtarını güvenli bir şekilde tutamaz.
• Uygulama doğrudan bağlanırsa kiracı bütçe kontrolleri atlanabilir.
• Model, bölge, ses, mod ve araç kısıtlamaları istemci tarafının vaatleri haline gelir.
• Kullanım ilişkilendirmesi tamamlanamıyor veya gecikiyor.
• Güvenlik ekipleri, oturum başlamadan önce denetlenebilir bir karar noktasını kaybeder.

Pratik tasarım "her baytın proxy'si" değildir. "Her oturumda komisyoncudur."

Gerçekler, öneriler ve tahminler

Gerçekler: Gerçek zamanlı yapay zeka sağlayıcıları, WebRTC, WebSocket ve SIP gibi düşük gecikmeli aktarımları giderek daha fazla destekliyor. OpenAI'ın Gerçek Zamanlı API'sine ilişkin genel belgelerde, WebRTC de dahil olmak üzere düşük gecikmeli gerçek zamanlı arayüzler açıklanmaktadır. Azure OpenAI gerçek zamanlı WebRTC kılavuzu, WebRTC bağlantısını başlatmadan önce geçici bir belirteç almak için arka uç belirteç hizmeti kullanan bir tarayıcı uygulamasını açıklar ve bir istemci uygulamasında standart API anahtarının kullanılmasına karşı uyarıda bulunur. OpenAI Aracılar SDK gerçek zamanlı rehberlik ayrıca bir arka ucun kısa ömürlü geçici bir istemci belirteci oluşturduğu ve tarayıcının bunu bir WebRTC bağlantısı kurmak için kullandığı bir akış önerir.

Öneriler: Ağ geçidini oturum yetkilisi olarak değerlendirin. Gerçek zamanlı bir oturumun olup olmayacağına, hangi modelle, hangi bölgede, hangi kiracıya, hangi bütçeyle, hangi araçlarla yapılabileceğine karar vermelidir. Müşteri, yalnızca söz konusu onaylanmış oturumu başlatmak için gereken minimum kısa süreli kimlik bilgisini almalıdır.

Tahminler: Gerçek zamanlı sağlayıcı API'leri bir süre daha dengesiz kalacak. Belirteç yaşam süreleri, oturum yapılandırma alanları, sunucu tarafı bağlantı kesme denetimleri, kullanım etkinlikleri ve bölge desteği farklılık gösterecektir. Ağ geçitleri, tüm gerçek zamanlı API'lerin tamamen taşınabilir olduğunu iddia etmek yerine, sağlayıcı yeteneklerini açık bir şekilde modellemelidir.

Referans mimarisi: gerçek zamanlı kontrol düzlemi olarak ağ geçidi

Tarayıcı açısından güvenli bir gerçek zamanlı akış beş bölümden oluşur:

1. İstemci uygulaması: Sesli oturum isteyen tarayıcı veya mobil uygulama.
2. Uygulama arka ucu: Son kullanıcının kimliğini doğrular ve ağ geçidini çağırır veya ağ geçidi arka uç yığınının bir parçasıysa ağ geçidi jetonu oluşturma mantığını katıştırır.
3. AI API ağ geçidi: Kiracı politikasını zorunlu kılar, model profilini çözer, bütçe ayırır, oturumu kaydeder ve geçici sağlayıcı istemci sırrını basar.
4. Gerçek zamanlı sağlayıcı: WebRTC'yi veya başka bir gerçek zamanlı aktarımı sonlandırır.
5. Defter ve analiz: Sağlayıcı etkinlikleri, süre verileri veya son kullanım raporları mevcut olduğunda kullanımı ayarlar.

Ağ geçidinin yetkili kalması için her ses karesini aktarması gerekmez. Oturum oluşturma kararına ve mutabakat yoluna sahip olmalıdır.

Önerilen istek akışı

1. Kullanıcı, istemci uygulamasında bir ses özelliği açar.
2. İstemci arka ucunuzu arar: POST /voice/sessions.
3. Arka uç, kullanıcı oturumunu doğrular ve kiracı kimliği, kullanıcı kimliği, amaçlanan özellik, cihaz meta verileri ve kaynağıyla birlikte ağ geçidine bir nane isteği iletir.
4. Ağ geçidi, politikayı ve bütçeyi değerlendirir.
5. Ağ geçidi, sağlayıcıyla iletişime geçmeden önce yerel bir realtime_session kaydı oluşturur.
6. Ağ geçidi, sağlayıcıyı korumalı çalışma zamanı kimlik bilgileriyle arar ve dar kapsamlı, geçici bir gerçek zamanlı oturum oluşturur.
7. Ağ geçidi, tarayıcıya yalnızca geçici istemci sırrını ve onaylanmış oturum meta verilerini döndürür.
8. Tarayıcı, WebRTC bağlantısını doğrudan sağlayıcıyla kurar.
9. Ağ geçidi, sağlayıcı kullanım etkinliklerini, geri aramaları, yoklama sonuçlarını veya muhafazakar süreye dayalı tahminleri alır.
10. Defter ayrılan bütçeyi belirler ve denetim etkinliklerini yazar.

Baskı öncesi politika kontrolleri

En önemli uygulama noktası, geçici jetonun basılmasından önceki zamandır. Tarayıcı kısa süreli bir kimlik bilgisine sahip olduğunda, sağlayıcı oturum güncelleme, bağlantıyı kesme, gözlemci veya geri arama kontrollerini desteklemediği sürece oturum ortasında uygulama sınırlı olabilir.

Ağ geçidinin en azından şunları kontrol etmesi gerekir:

• Kiracı durumu: aktif, askıya alınmış, deneme amaçlı, ön ödemeli, faturalı veya karantinaya alınmış.
• Kullanıcı yetkisi: bu kullanıcının yalnızca yazılı sohbeti değil, gerçek zamanlı sesi de kullanıp kullanamayacağı.
• İzin verilen model profili: onaylı gerçek zamanlı model veya dağıtım, istemci tarafından sağlanan rastgele model kimlikleri değil.
• Bölge ve saklama politikası: seçilen sağlayıcı bölgesi ve özellik kümesinin kiracının veri kurallarıyla eşleşip eşleşmediği.
• Maksimum oturum süresi: örneğin, plana göre 5, 15 veya 30 dakika.
• İzin verilen yöntemler: ses girişi, ses çıkışı, metin, resim veya araç çağrıları.
• Ses ve talimat şablonu: sabit veya politikaya bağlı.
• Kullanılabilir bütçe: ön ödemeli bakiye, ayrılmış aylık ödenek veya özellik başına harcama tavanı.
• Eşzamanlılık: kiracı düzeyinde ve kullanıcı düzeyinde aktif ses oturumları.
• Kötüye kullanım kontrolleri: kullanıcı riski işaretleri, kaynak itibarı, olağandışı çağrı hızı veya kiracı kapatma anahtarı.

Güvenli bir varsayılan, belirsiz istekleri reddetmektir. İstemci, kiracının gerçek zamanlı politikasında yer almayan bir model, araç, ses veya bölge isterse ağ geçidi, erişimi sessizce genişletmek yerine açık bir politika hatası döndürmelidir.

Oturum kaydı tasarımı

Sağlayıcının kimlik bilgilerini kaydetmeden önce ağ geçidi tarafında bir oturum kaydı oluşturun. Bu, sağlayıcı oluşturma işlemi başarılı olsa ancak tarayıcı hiçbir zaman bağlanmasa bile size bir denetim bağlantısı sağlar.

{
  "session_id": "rt_01j...",
  "tenant_id": "tenant_123",
  "end_user_id": "user_hash_456",
  "provider": "provider_a",
  "provider_session_id": null,
  "model_profile": "voice-support-standard",
  "upstream_model_or_deployment": "realtime-model-x",
  "region": "eastus",
  "session_config_hash": "sha256:...",
  "allowed_modalities": ["audio_input", "audio_output"],
  "allowed_tools": ["lookup_order_status"],
  "tool_approval_policy": "approve_side_effects",
  "budget_reservation_id": "resv_789",
  "max_duration_seconds": 900,
  "issued_at": "2026-08-21T10:00:00Z",
  "expires_at": "2026-08-21T10:01:00Z",
  "client_origin": "https://app.example.com",
  "device_id_hash": "sha256:...",
  "status": "minting"
}

Varsayılan olarak ham mikrofon sesini veya tam istemleri saklamayın. Yapılandırma karmalarını, kimlikleri, politika kararlarını ve denetim, destek ve faturalandırma için yeterli olan minimum meta verileri saklayın. Kayıt gerekiyorsa bunu açık, izin odaklı ve kiracı politikası odaklı yapın.

Geçici jeton basımı uç noktası

Ağ geçidine bakan bir uç nokta şöyle görünebilir:

POST /v1/realtime/sessions
Authorization: Bearer <gateway_app_token>
Content-Type: application/json

{
  "tenant_id": "tenant_123",
  "end_user_id": "user_hash_456",
  "feature": "support_voice_agent",
  "origin": "https://app.example.com",
  "device_nonce": "8f3b...",
  "requested_profile": "voice-support-standard"
}

Yanıt, yukarı akış çalışma zamanı anahtarınızı açığa çıkarmamalıdır:

{
  "session_id": "rt_01j...",
  "provider": "provider_a",
  "transport": "webrtc",
  "client_secret": "ephemeral_secret_here",
  "expires_at": "2026-08-21T10:01:00Z",
  "approved": {
    "model_profile": "voice-support-standard",
    "max_duration_seconds": 900,
    "modalities": ["audio_input", "audio_output"],
    "tools": ["lookup_order_status"]
  }
}

Vermeyi kaynağa, kimliği doğrulanmış kullanıcı oturumuna, kiracıya ve bir defaya bağlayın. Sağlayıcı tüm bu bağlamaları yerel olarak desteklemeyebilir; bu nedenle ağ geçidinde yapabileceklerinizi uygulayın: nane denemelerini hız sınırıyla sınırlayın, beklenmeyen kaynakları reddedin, cihaz meta verilerini kaydedin ve belirtecin ömrünü kısa tutun.

Oturum şablonları: varsayılan olarak daraltın

Gerçek zamanlı bir oturum şablonu, genel bir sohbet tamamlama isteğinden daha kısıtlayıcı olmalıdır. Sesli oturumlar etkileşimlidir, gerçek zamanlı olarak incelenmesi daha zordur ve beklenenden daha uzun sürebilir.

Önerilen şablon alanları şunları içerir:

• Sabit model veya dağıtım: ağ geçidi tarafı model profili tarafından seçilir.
• Talimatlar: kiracı tarafından onaylanan değişkenlere sahip, sunucu tarafından kontrol edilen bir bilgi istemi şablonu.
• Ses: izin verilenler listesinden seçildi.
• Modaliteler: Ürün gerektirmediği sürece metin, resim veya araç modlarını devre dışı bırakın.
• Giriş ses ayarları: desteklendiğinde dönüş algılama, transkripsiyon davranışı veya sessizliğin işlenmesi.
• Çıktı kısıtlamaları: maksimum yanıt uzunluğu veya desteklendiği yerde yanıt davranışı.
• Araç izin verilenler listesi: yalnızca özellik için gerekli araçlar.
• Oturum ömrü: kısa kimlik bilgilerinin geçerlilik süresi artı maksimum arama süresi.

Katı şablonlar esnekliği azaltır ancak maliyeti, uyumluluğu ve desteği kolaylaştırır. Ürün ekiplerinin dinamik seslere veya talimatlara ihtiyacı varsa isteğe bağlı istemci yapılandırmasını sağlayıcıya iletmek yerine kontrollü profil değişkenlerini açığa çıkarın.

Gerçek zamanlı ses için bütçe kontrolleri

Son sağlayıcı kullanımı gelmeden gerçek zamanlı kullanımın fiyatını belirlemek daha zor olabilir. Bir oturum beş saniye veya yirmi dakika sürebilir. Ses girişi, ses çıkışı, transkripsiyon, araç çağrıları ve metin belirteçlerini içerebilir. Bu nedenle ağ geçidinin rezervasyonu, sınırları ve mutabakatı birleştirmesi gerekir.

Baskıdan önce

• Maksimum süre, model, yöntemler ve kiracı planından en kötü durum veya ihtiyatlı bir oturum maliyetini tahmin edin.
• Müşteri sırrını vermeden önce bütçe ayırın.
• Kiracının yeterli bakiyesi yoksa veya günlük ses limitlerine ulaşmışsa yeni oturumları reddedin.

Oturum sırasında

• Etkin oturumları ve beklenen yazma oranını izleyin.
• Kiracı ve kullanıcı eşzamanlılık sınırlarını uygulayın.
• Varsa sağlayıcı tarafından desteklenen sonlandırma veya oturum güncelleme özelliklerini kullanın.
• Anormal oturum süresi, tekrarlanan yeniden bağlanmalar veya olağandışı ses kullanımı durumunda uyarıları tetikleyin.

Oturumdan sonra

• Mevcut olduğu durumlarda sağlayıcı kullanım etkinliklerini veya son kullanım raporlarını alın.
• Ayrılmış bütçeyi gerçek maliyete ayarlayın.
• Tam kullanım gecikirse veya eksik kalırsa mutabakata kadar ihtiyatlı bir rezervasyon yapın.
• Kullanımı kiracı, kullanıcı, özellik, model profili ve oturum kimliğiyle ilişkilendirin.

Bu, yanıt anında eşzamanlı kısa mesajla faturalandırmaya göre daha az kesindir ancak rezervasyon olmadan doğrudan kimlik bilgileri vermekten operasyonel olarak daha güvenlidir.

Gerçek zamanlı oturumlar içindeki araç çağrıları

Gerçek zamanlı sesli aracılar, araçları arayabildiklerinde genellikle daha kullanışlı hale gelirler: hesap arama, randevu alma, destek talebi güncelleme veya iş akışını tetikleme. Aracın yürütülmesini ses aktarımından ayrı olarak ele alın.

Tarayıcının medya bağlantısı, yan etkilerin gerçekleştirilmesine izin verildiği anlamına gelmemelidir. Ağ geçidi veya arka uç şunu zorunlu kılmalıdır:

• Araç kaydı: her aracın bir sahibi, şeması, kapsamları ve risk düzeyi vardır.
• İzin verilenler listeleri: oturum şablonları tam olarak hangi araçların kullanılabilir olduğunu listeler.
• Onay kapıları: Yan etkili eylemler kullanıcı onayı, insan onayı veya politika onayı gerektirir.
• Ayrı kimlik bilgileri: araç kimlik bilgileri hiçbir zaman tarayıcı oturumuna yerleştirilmez.
• Birleştirilmiş denetim izi: her araç çağrısı, gerçek zamanlı oturum kimliğine başvurur.

Örneğin, bir destek sesli aracısının lookup_order_status'yi otomatik olarak aramasına izin verilebilir, ancak refund_payment açık bir onay ve bir arka uç onay etkinliği gerektirebilir. Gerçek zamanlı sağlayıcı görüşmeyi düzenleyebilir ancak ağ geçidinizin izin sınırını yönetmesi gerekir.

Her baytın proxy'si olmadan görünürlük

Doğrudan WebRTC medya akışı, ağ geçidi gecikmesini ve bant genişliği yükünü azaltır ancak görünürlük, sağlayıcı etkinliklerine ve kendi oturum meta verilerinize daha fazla bağımlı hale gelir. Birden çok kanıt kaynağı etrafında analiz tasarlayın:

• Ağ geçidinden oturum oluşturma kayıtları.
• Bağlanma, bağlantının kesilmesi, yeniden bağlanma girişimi, mikrofonun reddedilmesi veya çağrının sonlandırılması gibi istemci tarafı yaşam döngüsü etkinlikleri.
• Sağlayıcı oturum kimlikleri, kullanım etkinlikleri veya son kullanım kayıtları.
• Sağlayıcı kullanımı geciktiğinde süreye dayalı tahminler.
• Oturum kimliğiyle birleştirilen araç çağrısı günlükleri.
• Bütçe rezervasyonu ve ödeme kayıtları.

Kontrolleri başlatmadan önce sağlayıcı telemetrisinin mükemmel olmasını beklemeyin. Muhafazakar rezervasyonlar ve net ilişkilendirmelerle başlayın, ardından sağlayıcı kullanım raporları olgunlaştıkça ödeme doğruluğunu iyileştirin.

Güvenlik kontrol listesi

• Standart sağlayıcı API anahtarlarını asla tarayıcıya veya mobil istemcilere göndermeyin.
• Gerçek zamanlı oturum başlatmak için kısa ömürlü geçici istemci sırlarını kullanın.
• Belirteç basımından önce son kullanıcının kimliğini doğrulayın.
• Baskı kararlarını mümkün olduğunca kiracıya, kullanıcıya, kaynağa, tek seferlik veriye ve cihaz meta verilerine bağlayın.
• Sağlayıcı çalışma zamanı kimlik bilgilerini bir arka uç kasasında veya ağ geçidi gizli deposunda saklayın.
• Sağlayıcı oluşturmadan önce bir oturum denetim satırı kaydedin.
• Rastgele istemci yapılandırması yerine kiracı onaylı oturum şablonlarını kullanın.
• Eşzamanlılık, günlük kullanım ve maksimum süre sınırlarını uygulayın.
• Yan etkiler için araç izin verilenler listelerini ve onay kapılarını kullanın.
• Varsayılan olarak ham istemi ve ses saklamayı en aza indirin.
• Belirteç yaşam süreleri, bölgeler, araçlar, kullanım etkinlikleri ve sonlandırma kontrolleri için bir sağlayıcı yetenek matrisi oluşturun.

Sağlayıcı yetenek matrisi

Gerçek zamanlı API'ler farklılık gösterdiğinden, ağ geçidi bağdaştırıcınızı varsayımlar yerine yeteneklere göre modelleyin. Basit bir matris, yönlendirme ve politika kararlarını yönlendirebilir:

{
  "provider_a": {
    "transports": ["webrtc", "websocket"],
    "ephemeral_client_tokens": true,
    "token_ttl_seconds": 60,
    "server_side_disconnect": true,
    "session_update": true,
    "usage_events": "final_and_incremental",
    "regions": ["us", "eu"],
    "tool_approval_supported": true
  },
  "provider_b": {
    "transports": ["websocket"],
    "ephemeral_client_tokens": true,
    "token_ttl_seconds": 120,
    "server_side_disconnect": false,
    "session_update": false,
    "usage_events": "final_only",
    "regions": ["us"],
    "tool_approval_supported": false
  }
}

Kiracı AB'de ikamet ve sunucu tarafında fesih gerektiriyorsa, ağ geçidi yalnızca her ikisini de karşılayan sağlayıcılara ve dağıtımlara yönlendirmelidir. Hiçbir sağlayıcı politikayı karşılamıyorsa kapatılır.

Taşıma yolu

Her kontrolü ilk günde oluşturmanıza gerek yok. Pratik bir kullanıma sunma yöntemi:

1. Yalnızca proxy oturumu oluşturma: medyayı doğrudan tutun, ancak tüm gerçek zamanlı oturumların arka uç veya ağ geçidi tarafından basılmasını gerektirir.
2. Politika şablonları ekleyin: istemci tarafından sağlanan model ve talimat alanlarını onaylanmış profillerle değiştirin.
3. Bütçe rezervasyonu ekleyin: jeton verilmeden önce muhafazakar oturum maliyetini ayırın.
4. Yaşam döngüsü analizleri ekleyin: oturumun başlangıcını, bağlantısını, bağlantısını kesmeyi, süreyi, sağlayıcı oturum kimliğini ve ödeme durumunu toplayın.
5. Araç yönetimi ekleyin: gerçek zamanlı araç çağrıları için izin verilenler listelerini ve onayları gerektirir.
6. Sağlayıcı özelliği yönlendirmesi ekleyin: sağlayıcıları bölgeye, modaliteye, etkinlik desteğine ve sonlandırma kontrollerine göre seçin.
7. İsteğe bağlı gözlemci veya kayıt iş akışları ekleyin: yalnızca uyumlu, izin verilen ve kiracı tarafından onaylanan durumlarda.

Uygulamaya uygun sonuç

Gerçek zamanlı ses yapay zekası için AI API ağ geçidi otomatik olarak bir medya aktarımına dönüşmemelidir. Daha güvenli ve gecikme süresi daha düşük olan mimari, ağ geçidinin kontrol düzleminden sorumlu tutulmasını sağlar: kullanıcıların kimliğini doğrulamak, kiracı politikasını uygulamak, bütçe ayırmak, bir denetim kaydı oluşturmak, dar kapsamlı, geçici bir kimlik bilgisi oluşturmak ve oturumdan sonra kullanımı uzlaştırmak.

Temel uygulama kuralı basittir: Tarayıcılar kısa ömürlü oturum sırlarını alabilir, uzun ömürlü sağlayıcı anahtarlarını asla alamaz. Geriye kalan her şey bu sınırdan kaynaklanır: katı şablonlar, kökene duyarlı basım, eşzamanlı oturum sınırları, araç onayları, kullanım yerleşimi ve sağlayıcı yetenek matrisleri. Bu, ürün ekiplerine API anahtar yönetimi, AI API maliyet kontrolü, ekip API yönetişimi veya AI kullanım analizlerinden vazgeçmeden gerçek zamanlı ses deneyimleri sunar.

İlgili okumalar

• çalışma zamanı anahtarları için sağlayıcı kimlik bilgisi kasası
• bütçe rezervasyonu ve ödeme defter