Böngésző biztonságos, valós idejű mesterséges intelligencia API-átjárón keresztül: átmeneti tokenek, bérlői szabályzat és hangmunkamenet-vezérlők

A böngésző- és mobilalkalmazások nem kaphatnak hosszú élettartamú szolgáltatói API kulcsokat. A valós idejű hangalapú mesterséges intelligencia esetében azonban minden audiocsomag átjárón keresztül történő elküldése növelheti a késleltetést, a működési költségeket és a hibamódokat. A jobb minta az, ha az átjárót a vezérlősíkon tartjuk: hitelesítse a felhasználót, kényszerítse ki a bérlői szabályzatot, tartalékolja a költségvetést, készítsen egy szűk, rövid élettartamú valós idejű hitelesítő adatot, és hagyja, hogy a késleltetésre érzékeny média adott esetben használja a szolgáltató valós idejű átvitelét.

Ez a cikk egy implementációs mintát ír le azon csapatok számára, akik hangügynököket, hívási asszisztenseket, mobil oktatókat, támogató másodpilótákat vagy alkalmazáson belüli hangfelületeket építenek egy AI API átjárón. A cél a böngésző biztonsága a bérlői irányítás elvesztése nélkül.

A probléma: a közvetlen valós idejű kapcsolatok megkerülik a vezérlőket

Egy egyszerű szerveroldali proxy azért vonzó, mert központosítja a kulcsokat és a megfigyelhetőséget. A szabványos szöveges kérésekhez gyakran ez a megfelelő modell. A valós idejű hang más. A hangmunka magában foglalhat folyamatos mikrofonbemenetet, kétirányú hangkimenetet, megszakításokat, eszközhívásokat és szigorú várakozási időt. Ha az összes médiát az átjárón keresztül proxyzik, az átjárót nagy sávszélességű médiaközvetítővé alakíthatja a szabályzat és számlázási szolgáltatás helyett.

A böngésző és a szolgáltató közötti közvetlen kapcsolatok megoldják a késleltetést, de más problémát okoznak:

• A böngésző nem tudja biztonságosan tartani a szabványos API szolgáltatói kulcsot.
• A bérlői költségkeret ellenőrzése kimaradhat, ha az alkalmazás közvetlenül csatlakozik.
• A modell-, régió-, hang-, modalitás- és eszközkorlátozások ügyféloldali ígéretekké válnak.
• A használati hozzárendelés hiányossá válik vagy késik.
• A biztonsági csapatok elveszítenek egy auditálható döntési pontot a munkamenet megkezdése előtt.

A praktikus kialakítás nem „minden bájt proxy”. Ez „minden munkamenetben közvetítő”.

Tények, ajánlások és előrejelzések

Tények: A valós idejű AI-szolgáltatók egyre inkább támogatják az alacsony késleltetésű átviteleket, például a WebRTC-t, a WebSocket-et és a SIP-t. A OpenAI Realtime API nyilvános dokumentációja leírja az alacsony késleltetésű valós idejű interfészeket, beleértve a WebRTC-t is. Az Azure OpenAI valós idejű WebRTC-útmutatója leír egy böngészőalkalmazást, amely háttér-tokenszolgáltatást használ, hogy lekérjen egy átmeneti tokent a WebRTC-kapcsolat elindítása előtt, és figyelmeztet a szabványos API kulcs használatára az ügyfélalkalmazásokban. A OpenAI Ügynökök SDK valós idejű útmutatása olyan folyamatot is javasol, amelyben a háttérrendszer létrehoz egy rövid életű, efemer kliensjogkivonatot, és a böngésző ezt használja WebRTC-kapcsolat létrehozására.

Javaslatok: Kezelje az átjárót munkamenet jogosultságként. El kell döntenie, hogy létezhet-e valós idejű munkamenet, melyik modellel, melyik régióban, melyik bérlő számára, milyen költségvetés mellett és milyen eszközökkel. Az ügyfélnek csak a jóváhagyott munkamenet elindításához szükséges minimális rövid élettartamú hitelesítési adatokat kell megkapnia.

Előrejelzések: A valós idejű szolgáltatói API-k egy ideig egyenetlenek maradnak. A token élettartama, a munkamenet-konfigurációs mezők, a szerveroldali leválasztási vezérlők, a használati események és a régió támogatása eltérő lehet. Az átjáróknak kifejezetten modellezniük kell a szolgáltatói képességeket, ahelyett, hogy az összes valós idejű API tökéletesen hordozhatóak lennének.

Referencia architektúra: átjáró, mint valós idejű vezérlési sík

A böngésző által biztonságos valós idejű folyamat öt részből áll:

1. Ügyfélalkalmazás: Hangos munkamenetet kérő böngésző vagy mobilalkalmazás.
2. Alkalmazás-háttér: Hitelesíti a végfelhasználót, és meghívja az átjárót, vagy beágyazza az átjárójogkivonat-verem logikáját, ha az átjáró a háttérverem része.
3. AI API gateway: Kikényszeríti a bérlői szabályzatot, feloldja a modellprofilt, lefoglalja a költségkeretet, rögzíti a munkamenetet, és ideiglenes szolgáltatói ügyféltitkot rögzít.
4. Valós idejű szolgáltató: Leállítja a WebRTC-t vagy más valós idejű átvitelt.
5. Főkönyv és elemzés: A használatot akkor rendezi, amikor a szolgáltatói események, időtartamadatok vagy végső használati jelentések rendelkezésre állnak.

Az átjárónak nem kell minden hangkockát továbbítania ahhoz, hogy mérvadó maradjon. Ennek birtokában kell lennie a munkamenet-létrehozási döntésnek és az egyeztetési útvonalnak.

Ajánlott kérésfolyamat

1. A felhasználó megnyit egy hangfunkciót az ügyfélalkalmazásban.
2. Az ügyfél meghívja a háttérrendszerét: POST /voice/sessions.
3. A háttérrendszer ellenőrzi a felhasználói munkamenetet, és egy mintakérést továbbít az átjárónak bérlői azonosítóval, felhasználói azonosítóval, tervezett funkcióval, eszköz metaadataival és eredetével.
4. Az átjáró értékeli az irányelveket és a költségkeretet.
5. Az átjáró létrehoz egy helyi realtime_session rekordot, mielőtt kapcsolatba lépne a szolgáltatóval.
6. Az átjáró felhívja a szolgáltatót a védett futásidejű hitelesítő adataival, és létrehoz egy szűk hatókörű, átmeneti, valós idejű munkamenetet.
7. Az átjáró csak az ideiglenes kliens titkos és jóváhagyott munkamenet-metaadatait adja vissza a böngészőnek.
8. A böngésző közvetlenül a szolgáltatóval hozza létre a WebRTC kapcsolatot.
9. Az átjáró feldolgozza a szolgáltatói használati eseményeket, visszahívásokat, lekérdezések eredményeit vagy óvatos, időtartamon alapuló becsléseket.
10. A főkönyv rendezi a lefoglalt költségkeretet és megírja az ellenőrzési eseményeket.

A pénzverés irányelveinek ellenőrzése előtt

A legfontosabb végrehajtási pont az efemer token verése előtt van. Ha a böngésző rövid életű hitelesítő adatokkal rendelkezik, a munkamenet közbeni betartatás korlátozott lehet, kivéve, ha a szolgáltató támogatja a munkamenet-frissítést, a kapcsolat leválasztását, a megfigyelést vagy a visszahívást.

Az átjárónak legalább a következőket kell ellenőriznie:

• Bérlő állapota: aktív, felfüggesztett, próbaidőszak, előre fizetett, számlázott vagy karanténban van.
• Felhasználói jogosultság: használhatja-e a felhasználó valós idejű hangot, nem csak szöveges csevegést.
• Engedélyezett modellprofil: jóváhagyott valós idejű modell vagy telepítés, nem tetszőleges, ügyfél által biztosított modellazonosítók.
• Régió és megőrzési szabályzat: hogy a kiválasztott szolgáltatói régió és szolgáltatáskészlet megfelel-e a bérlő adatszabályainak.
• Maximális munkamenet időtartama: például terv szerint 5, 15 vagy 30 perc.
• Engedélyezett módok: hangbemenet, hangkimenet, szöveg, kép vagy eszközhívások.
• Hang- és utasítássablon: Szabályzat által rögzített vagy korlátozva.
• Rendelkezésre álló költségkeret: előre fizetett egyenleg, lekötött havi juttatás vagy funkciónkénti költségkeret.
• Páridő: bérlői és felhasználói szintű aktív hangmunkamenetek.
• Visszaélés-ellenőrzés: felhasználói kockázatjelzők, eredet hírneve, szokatlan hívássebesség vagy bérlői tiltó kapcsoló.

A biztonságos alapértelmezés a kétértelmű kérések elutasítása. Ha az ügyfél olyan modellt, eszközt, hangot vagy régiót kér, amely nem szerepel a bérlő valós idejű szabályzatában, akkor az átjárónak egyértelmű házirend-hibát kell visszaadnia a hozzáférés csendes kiterjesztése helyett.

Munkamenetrekord tervezés

A szolgáltató hitelesítő adatainak rögzítése előtt hozzon létre egy átjáróoldali munkamenetrekordot. Ez akkor is ellenőrzési horgonyt biztosít, ha a szolgáltató létrehozása sikeres, de a böngésző soha nem csatlakozik.

{
  "session_id": "rt_01j...",
  "tenant_id": "tenant_123",
  "end_user_id": "user_hash_456",
  "provider": "provider_a",
  "provider_session_id": null,
  "model_profile": "voice-support-standard",
  "upstream_model_or_deployment": "realtime-model-x",
  "region": "eastus",
  "session_config_hash": "sha256:...",
  "allowed_modalities": ["audio_input", "audio_output"],
  "allowed_tools": ["lookup_order_status"],
  "tool_approval_policy": "approve_side_effects",
  "budget_reservation_id": "resv_789",
  "max_duration_seconds": 900,
  "issued_at": "2026-08-21T10:00:00Z",
  "expires_at": "2026-08-21T10:01:00Z",
  "client_origin": "https://app.example.com",
  "device_id_hash": "sha256:...",
  "status": "minting"
}

Alapértelmezés szerint ne tároljon nyers mikrofonhangot vagy teljes promptokat. Tároljon konfigurációs kivonatokat, azonosítókat, irányelvi döntéseket és minimális metaadatokat, amelyek elegendőek az ellenőrzéshez, a támogatáshoz és a számlázáshoz. Ha rögzítésre van szükség, tegye egyértelművé, a beleegyezést figyelembe véve és a bérlői szabályzat által vezérelve.

Efemerális token verési végpont

Egy átjáróra néző végpont így nézhet ki:

POST /v1/realtime/sessions
Authorization: Bearer <gateway_app_token>
Content-Type: application/json

{
  "tenant_id": "tenant_123",
  "end_user_id": "user_hash_456",
  "feature": "support_voice_agent",
  "origin": "https://app.example.com",
  "device_nonce": "8f3b...",
  "requested_profile": "voice-support-standard"
}

A válasz nem fedheti fel az upstream futásidejű kulcsát:

{
  "session_id": "rt_01j...",
  "provider": "provider_a",
  "transport": "webrtc",
  "client_secret": "ephemeral_secret_here",
  "expires_at": "2026-08-21T10:01:00Z",
  "approved": {
    "model_profile": "voice-support-standard",
    "max_duration_seconds": 900,
    "modalities": ["audio_input", "audio_output"],
    "tools": ["lookup_order_status"]
  }
}

Kibocsátás kötése eredethez, hitelesített felhasználói munkamenethez, bérlőhöz és egy nonce-hez. Előfordulhat, hogy a szolgáltató nem támogatja az összes kötést natív módon, ezért kényszerítse ki, amit csak tud az átjárón: korlátozza a pénzverési kísérleteket, utasítsa el a váratlan eredeteket, rögzítse az eszköz metaadatait, és tartsa röviden a token élettartamát.

Munkamenetsablonok: alapértelmezés szerint szűkítve

A valós idejű munkamenet-sablonnak szigorúbbnak kell lennie, mint egy általános csevegés-befejezési kérésnek. A hangos munkamenetek interaktívak, valós időben nehezebb ellenőrizni, és a vártnál tovább futhatnak.

Az ajánlott sablonmezők a következők:

• Rögzített modell vagy telepítés: átjáróoldali modellprofil választja ki.
• Utasítások: szerver által vezérelt prompt sablon bérlő által jóváhagyott változókkal.
• Voice: kiválasztva egy engedélyezési listáról.
• Modalitások: tiltsa le a szöveges, képi vagy eszközmódokat, kivéve, ha a terméknek szüksége van rájuk.
• Bemeneti hangbeállítások: fordulatészlelés, átírási viselkedés vagy elnémítás kezelése, ahol ez támogatott.
• Kimeneti megszorítások: maximális válaszhossz vagy válaszviselkedés, ahol támogatott.
• Eszközök engedélyezési listája: csak a funkcióhoz szükséges eszközök.
• Munkamenet élettartama: rövid hitelesítő adatok lejárata plusz a hívás maximális időtartama.

A szigorú sablonok csökkentik a rugalmasságot, de megkönnyítik a költségeket, a megfelelőséget és a támogatást. Ha a termékcsapatoknak dinamikus hangokra vagy utasításokra van szükségük, tegyen közzé ellenőrzött profilváltozatokat ahelyett, hogy tetszőleges ügyfélkonfigurációt adna át a szolgáltatónak.

Költségkeret-vezérlők a valós idejű hanghoz

A valós idejű használatot nehezebb árazni, mielőtt a végső szolgáltatói használat megérkezik. Egy munkamenet öt másodpercig vagy húsz percig tarthat. Tartalmazhat hangbemenetet, hangkimenetet, átírást, eszközhívásokat és szöveges tokeneket. Az átjárónak ezért kombinálnia kell a foglalást, a korlátokat és az egyeztetést.

Verés előtt

• A maximális időtartam, a modell, a módozatok és a bérlői terv alapján becsülje meg a legrosszabb vagy óvatos munkamenet-költséget.
• Foglaljon le költségkeretet az ügyféltitok kiadása előtt.
• Új munkamenetek elutasítása, ha a bérlőnek nincs elegendő egyenlege, vagy elérte a napi hangkorlátozást.

A munkamenet alatt

• Kövesse nyomon az aktív munkameneteket és a várható írási sebességet.
• Alkalmazzon bérlői és felhasználói párhuzamossági korlátokat.
• Használja a szolgáltató által támogatott megszüntetési vagy munkamenet-frissítési funkciókat, ha elérhetők.
• Riasztások aktiválása a munkamenet rendellenes időtartamára, ismételt újracsatlakozásokra vagy szokatlan hanghasználatra.

A munkamenet után

• A szolgáltató használati eseményeinek vagy végső használati jelentéseinek feldolgozása, ha rendelkezésre állnak.
• Állítsa be a lefoglalt költségkeretet a tényleges költségre.
• Ha a pontos használat késik vagy nem teljes, tartson óvatos foglalást az egyeztetésig.
• A használat hozzárendelése bérlőhöz, felhasználóhoz, szolgáltatáshoz, modellprofilhoz és munkamenet-azonosítóhoz.

Ez kevésbé pontos, mint a szinkron szöveges számlázás a válasz pillanatában, de működési szempontból biztonságosabb, mint a közvetlen hitelesítési adatok fenntartás nélküli kiadása.

Eszközhívások valós idejű munkameneteken belül

A valós idejű hangügynökök gyakran hasznosabbak, ha eszközöket hívhatnak: kereshetnek egy fiókban, foglalhatnak időpontot, frissíthetnek jegyet vagy elindíthatnak egy munkafolyamatot. Az eszköz végrehajtását a hangátviteltől elkülönítve kezelje.

A böngésző médiakapcsolata nem jelenthet engedélyt mellékhatások végrehajtására. Az átjárónak vagy a háttérrendszernek érvényesítenie kell a következőket:

• Eszköz-nyilvántartás: minden eszköznek van tulajdonosa, sémája, hatóköre és kockázati szintje.
• Allowlists: a munkamenetsablonok pontosan felsorolják, hogy mely eszközök állnak rendelkezésre.
• Jóváhagyási kapuk: A mellékhatásokkal járó műveletekhez a felhasználó megerősítése, emberi jóváhagyás vagy szabályzat jóváhagyása szükséges.
• Külön hitelesítő adatok: az eszköz hitelesítő adatai soha nem ágyazódnak be a böngésző munkamenetbe.
• Joined audit trail: minden eszközhívás a valós idejű munkamenet-azonosítóra hivatkozik.

Például előfordulhat, hogy egy támogatási hangügynök automatikusan hívja a lookup_order_status számot, de a refund_payment kifejezett megerősítést és egy háttér-jóváhagyási eseményt igényelhet. A valós idejű szolgáltató levezényelheti a beszélgetést, de az átjárónak kell szabályoznia az engedélyhatárt.

Láthatóság minden bájt proxy nélkül

A közvetlen WebRTC médiaáramlás csökkenti az átjáró várakozási idejét és a sávszélesség terhelését, de a láthatóság jobban függ a szolgáltatói eseményektől és a munkamenet metaadataitól. Tervezze meg az elemzéseket több bizonyítékforrás alapján:

• Munkamenet-létrehozási rekordok az átjáróból.
• Ügyféloldali életciklus-események, például csatlakozás, lekapcsolás, újracsatlakozási kísérlet, mikrofon megtagadása vagy hívás befejezése.
• Szolgáltatói munkamenet-azonosítók, használati események vagy végső használati rekordok.
• Időtartam alapú becslések, amikor a szolgáltatói használat késik.
• A munkamenet-azonosítóval egyesített eszközhívási naplók.
• Költségkeret-foglalási és elszámolási nyilvántartások.

Ne várja meg a tökéletes szolgáltatói telemetriát a vezérlők elindítása előtt. Kezdje óvatos fenntartásokkal és egyértelmű hozzárendeléssel, majd javítsa az elszámolás pontosságát, ahogy a szolgáltatók használatáról szóló jelentések érnek.

Biztonsági ellenőrzőlista

• Soha ne küldjön szabványos API szolgáltatói kulcsokat böngésző- vagy mobilklienseknek.
• Használjon rövid életű, átmeneti kliens titkokat a valós idejű munkamenet indításához.
• A végfelhasználó hitelesítése a tokenverés előtt.
• Ha lehetséges, kösse a pénzverési döntéseket a bérlői, felhasználói, származási, nonce- és eszköz metaadatokhoz.
• Tartsa a szolgáltató futásidejű hitelesítő adatait egy backend trezorban vagy átjáró titkos tárolójában.
• Rögzítsen egy munkamenet-naplózási sort a szolgáltató létrehozása előtt.
• Használjon bérlő által jóváhagyott munkamenetsablonokat tetszőleges ügyfélkonfiguráció helyett.
• Alkalmazzon egyidejűségi, napi használati és maximális időtartamkorlátokat.
• Használja az engedélyezőlistákat és a jóváhagyási kapukat a mellékhatásokhoz.
• Alapértelmezés szerint minimalizálja a nyers prompt és hangvisszatartást.
• Karbantartson egy szolgáltatói képességmátrixot a token élettartamára, régiókra, eszközökre, használati eseményekre és leállítási vezérlőkre vonatkozóan.

Szolgáltatói képességmátrix

Mivel a valós idejű API-k különböznek egymástól, az átjáróadaptert a képességek, nem pedig feltételezések alapján modellezze. Egy egyszerű mátrix befolyásolhatja az útválasztási és irányelvi döntéseket:

{
  "provider_a": {
    "transports": ["webrtc", "websocket"],
    "ephemeral_client_tokens": true,
    "token_ttl_seconds": 60,
    "server_side_disconnect": true,
    "session_update": true,
    "usage_events": "final_and_incremental",
    "regions": ["us", "eu"],
    "tool_approval_supported": true
  },
  "provider_b": {
    "transports": ["websocket"],
    "ephemeral_client_tokens": true,
    "token_ttl_seconds": 120,
    "server_side_disconnect": false,
    "session_update": false,
    "usage_events": "final_only",
    "regions": ["us"],
    "tool_approval_supported": false
  }
}

Ha egy bérlő EU-beli tartózkodási helyet és szerveroldali leállítást igényel, az átjáró csak olyan szolgáltatókhoz és telepítésekhez irányíthat, amelyek mindkettőt kielégítik. Ha egyik szolgáltató sem felel meg az irányelvnek, sikertelen lezárás.

Migrációs útvonal

Nem kell minden vezérlőt az első napon elkészítenie. A gyakorlati bevezetés a következő:

1. Csak proxy-munkamenet létrehozása: Tartsa a médiát közvetlenül, de minden valós idejű munkamenetet a háttérrendszernek vagy az átjárónak kell készítenie.
2. Irányelvsablonok hozzáadása: cserélje ki az ügyfél által biztosított modell- és utasításmezőket jóváhagyott profilokra.
3. Költségkeret-foglalás hozzáadása: konzervatív munkamenet-költség lefoglalása a token kiadása előtt.
4. Életciklus-elemzés hozzáadása: összegyűjti a munkamenet kezdetét, csatlakozását, leválasztását, időtartamát, szolgáltatói munkamenet-azonosítóját és elszámolási állapotát.
5. Eszközirányítás hozzáadása: engedélyezőlistákat és jóváhagyásokat igényel a valós idejű eszközhívásokhoz.
6. Szolgáltatói képesség-útválasztás hozzáadása: válassza ki a szolgáltatókat régió, modalitás, eseménytámogatás és leállítási vezérlők szerint.
7. Opcionális megfigyelői vagy rögzítési munkafolyamatok hozzáadása: csak akkor, ha az megfelelő, beleegyezett és a bérlő jóváhagyta.

Igazítható következtetés

A valós idejű hangalapú mesterséges intelligencia esetében az AI API átjáró nem válhat automatikusan médiaközvetítővé. A biztonságosabb és alacsonyabb késleltetésű architektúra az, hogy az átjárót irányítsa a vezérlősíkért: hitelesítse a felhasználókat, kényszerítse ki a bérlői szabályzatot, lefoglalja a költségvetést, hozzon létre auditálási rekordot, egy szűk hatókörű ideiglenes hitelesítő adatot készítsen, és a munkamenet után összeegyeztesse a használatot.

Az alapvető megvalósítási szabály egyszerű: a böngészők rövid életű munkamenettitkokat kaphatnak, soha nem hosszú élettartamú szolgáltatói kulcsokat. Minden más ebből a határból következik: szigorú sablonok, eredet-tudatos verés, párhuzamos munkamenet-korlátok, eszközök jóváhagyása, használati elszámolás és szolgáltatói képességmátrixok. Ez valós idejű hangélményt biztosít a termékcsapatok számára anélkül, hogy feladnák a API kulcskezelést, az AI API költségszabályozást, a csapat API irányítását vagy az AI használati elemzését.

Kapcsolódó olvasmányok

• szolgáltatói hitelesítő adattár a futásidejű hitelesítéshez keys
• költségkeret-foglalási és elszámolási főkönyv