Böngésző biztonságos, valós idejű mesterséges intelligencia API-átjárón keresztül: átmeneti tokenek, bérlői szabályzat és hangmunkamenet-vezérlők

A böngésző- és mobilalkalmazások nem kaphatnak hosszú élettartamú szolgáltatói API-kulcsokat. A valós idejű hangalapú mesterséges intelligencia esetében azonban minden audiocsomag átjárón keresztül történő elküldése növelheti a késleltetést, a működési költségeket és a hibamódokat. A jobb minta az, ha az átjárót a vezérlési síkon tartjuk: hitelesítse a felhasználót, kényszerítse ki a bérlői szabályzatot, tartalékolja a költségvetést, készítsen egy szűk, rövid élettartamú valós idejű hitelesítő adatot, és hagyja, hogy a késleltetésre érzékeny média adott esetben használja a szolgáltató valós idejű átvitelét.

Ez a cikk egy megvalósítási mintát ír le azon csapatok számára, akik hangügynököket, hívásasszisztenseket, mobil oktatókat, támogató másodpilótákat vagy alkalmazáson belüli hangfelületeket építenek egy AI API-átjárón. A cél a böngésző biztonsága a bérlői irányítás elvesztése nélkül.

A probléma: a közvetlen valós idejű kapcsolatok megkerülik a vezérlőket

Egy egyszerű szerveroldali proxy azért vonzó, mert központosítja a kulcsokat és a megfigyelhetőséget. A szabványos szöveges kérésekhez gyakran ez a megfelelő modell. A valós idejű hang más. A hangos munkamenet magában foglalhat folyamatos mikrofonbemenetet, kétirányú hangkimenetet, megszakításokat, eszközhívásokat és szigorú várakozási időt. Ha az összes médiát az átjárón keresztül proxyzik, az átjárót nagy sávszélességű médiaközvetítővé alakíthatja a szabályzat és a számlázási szolgáltatás helyett.

A böngésző és a szolgáltató közötti közvetlen kapcsolatok megoldják a késleltetést, de más problémát okoznak:

• A böngésző nem tudja biztonságosan tárolni a szabványos szolgáltatói API-kulcsot.
• A bérlői költségkeret ellenőrzése kimaradhat, ha az alkalmazás közvetlenül csatlakozik.
• A modell-, régió-, hang-, modalitás- és eszközkorlátozások ügyféloldali ígéretekké válnak.
• A használati hozzárendelés hiányossá válik vagy késik.
• A biztonsági csapatok elveszítenek egy auditálható döntési pontot a munkamenet megkezdése előtt.

A praktikus kialakítás nem „minden bájt proxy”. Ez „bróker minden munkamenetben”.

Tények, ajánlások és előrejelzések

Tények: A valós idejű AI-szolgáltatók egyre inkább támogatják az alacsony késleltetésű átviteleket, mint például a WebRTC, WebSocket és SIP. Az OpenAI Realtime API nyilvános dokumentációja leírja az alacsony késleltetésű valós idejű felületeket, beleértve a WebRTC-t is. Az Azure OpenAI valós idejű WebRTC-útmutatója leír egy böngészőalkalmazást, amely háttér-token-szolgáltatást használ egy átmeneti jogkivonat lekéréséhez a WebRTC-kapcsolat elindítása előtt, és figyelmeztet a szabványos API-kulcs használatára az ügyfélalkalmazásban. Az OpenAI Agents SDK valós idejű útmutatása olyan folyamatot is javasol, amelyben a háttérrendszer egy rövid életű, átmeneti ügyféljogkivonatot hoz létre, és a böngésző azt használja WebRTC-kapcsolat létrehozására.

Javaslatok: Kezelje az átjárót munkamenet jogosultságként. El kell döntenie, hogy létezhet-e valós idejű munkamenet, melyik modellel, melyik régióban, melyik bérlő számára, milyen költségvetés mellett és milyen eszközökkel. Az ügyfélnek csak a jóváhagyott munkamenet elindításához szükséges minimális rövid élettartamú hitelesítési adatokat kell megkapnia.

Előrejelzések: A valós idejű szolgáltatói API-k egy ideig egyenetlenek maradnak. A token élettartama, a munkamenet konfigurációs mezői, a szerveroldali leválasztási vezérlők, a használati események és a régió támogatása eltérő lehet. Az átjáróknak kifejezetten modellezniük kell a szolgáltatói képességeket, ahelyett, hogy az összes valós idejű API tökéletesen hordozhatóak lennének.

Referencia architektúra: átjáró valós idejű vezérlősíkként

A böngésző által biztonságos valós idejű folyamat öt részből áll:

1. Ügyfélalkalmazás: hangmunkamenetet kérő böngésző vagy mobilalkalmazás.
2. Alkalmazás-háttér: Hitelesíti a végfelhasználót, és meghívja az átjárót, vagy beágyaz átjárójogkivonat-mentési logikát, ha az átjáró a háttérverem része.
3. AI API átjáró: Kényszeríti a bérlői szabályzatot, feloldja a modellprofilt, lefoglalja a költségkeretet, rögzíti a munkamenetet, és ideiglenes szolgáltatói ügyféltitkot rögzít.
4. Valós idejű szolgáltató: Leállítja a WebRTC-t vagy más valós idejű átvitelt.
5. Főkönyv és elemzés: A használatot akkor rendezi, amikor a szolgáltatói események, időtartamadatok vagy végső használati jelentések rendelkezésre állnak.

Az átjárónak nem kell minden hangkockát továbbítania ahhoz, hogy mérvadó maradjon. Ennek birtokában kell lennie a munkamenet-létrehozási döntésnek és az egyeztetési útvonalnak.

Ajánlott kérésfolyamat

1. A felhasználó megnyit egy hangfunkciót az ügyfélalkalmazásban.
2. Az ügyfél meghívja a háttérrendszerét: POST /voice/sessions.
3. A háttérrendszer ellenőrzi a felhasználói munkamenetet, és egy mintakérést továbbít az átjárónak bérlői azonosítóval, felhasználói azonosítóval, tervezett funkcióval, eszköz metaadataival és eredetével.
4. Az átjáró értékeli az irányelveket és a költségvetést.
5. Az átjáró létrehoz egy helyi realtime_session rekordot, mielőtt kapcsolatba lépne a szolgáltatóval.
6. Az átjáró felhívja a szolgáltatót a védett futásidejű hitelesítő adataival, és létrehoz egy szűk hatókörű, átmeneti, valós idejű munkamenetet.
7. Az átjáró csak az ideiglenes kliens titkos és jóváhagyott munkamenet-metaadatait adja vissza a böngészőnek.
8. A böngésző közvetlenül a szolgáltatóval hozza létre a WebRTC kapcsolatot.
9. Az átjáró feldolgozza a szolgáltató használati eseményeit, a visszahívásokat, a lekérdezések eredményeit vagy a konzervatív időtartamon alapuló becsléseket.
10. A főkönyv rendezi a lefoglalt költségvetést és megírja az ellenőrzési eseményeket.

A pénzverés szabályzatának ellenőrzése előtt

A legfontosabb végrehajtási pont az efemer token verése előtt van. Ha a böngésző rövid életű hitelesítő adatokkal rendelkezik, a munkamenet közbeni betartatás korlátozható lehet, kivéve, ha a szolgáltató támogatja a munkamenet-frissítést, a leválasztást, a megfigyelést vagy a visszahívási vezérlőket.

Az átjárónak legalább a következőket kell ellenőriznie:

• Bérlői állapot: aktív, felfüggesztett, próbaverzió, előre fizetett, számlázott vagy karanténban van.
• Felhasználói jogosultságok: használhatja-e a felhasználó valós idejű hangot, nem csak szöveges csevegést.
• Engedélyezett modellprofil: jóváhagyott valós idejű modell vagy telepítés, nem tetszőleges, ügyfél által biztosított modellazonosítók.
• Régió és megőrzési szabályzat: hogy a kiválasztott szolgáltatói régió és szolgáltatáskészlet megfelel-e a bérlő adatszabályainak.
• Maximális munkamenet időtartama: például 5, 15 vagy 30 perc a terv szerint.
• Engedélyezett módok: hangbemenet, hangkimenet, szöveg, kép vagy eszközhívások.
• Hang- és utasítássablon: szabályzat által rögzített vagy korlátozva.
• Rendelkezésre álló költségkeret: előre fizetett egyenleg, lekötött havi juttatás vagy funkciónkénti költési plafon.
• Parakuurencia: bérlői és felhasználói szintű aktív hangmunkamenetek.
• Visszaélés-ellenőrzés: felhasználói kockázatjelzők, eredet hírneve, szokatlan hívási sebesség vagy bérlői tiltó kapcsoló.

A biztonságos alapértelmezés a kétértelmű kérések elutasítása. Ha az ügyfél olyan modellt, eszközt, hangot vagy régiót kér, amely nem szerepel a bérlő valós idejű szabályzatában, az átjárónak egyértelmű házirend-hibát kell visszaadnia, ahelyett, hogy csendesen bővítené a hozzáférést.

Munkamenetrekord-tervezés

Hozzon létre egy átjáróoldali munkamenetrekordot a szolgáltatói hitelesítő adatok rögzítése előtt. Ez akkor is ellenőrzési horgonyt biztosít, ha a szolgáltató létrehozása sikeres, de a böngésző soha nem csatlakozik.

{
  "session_id": "rt_01j...",
  "bérlő_azonosítója": "bérlő_123",
  "end_user_id": "user_hash_456",
  "szolgáltató": "szolgáltató_a",
  "provider_session_id": null,
  "model_profile": "Voice-support-standard",
  "upstream_model_or_deployment": "realtime-model-x",
  "régió": "eastus",
  "session_config_hash": "sha256:...",
  "allowed_modalities": ["audio_input", "audio_output"],
  "allowed_tools": ["lookup_order_status"],
  "tool_approval_policy": "approve_side_effects",
  "budget_reservation_id": "resv_789",
  "max_duration_seconds": 900,
  "issued_at": "2026-08-21T10:00:00Z",
  "expires_at": "2026-08-21T10:01:00Z",
  "client_origin": "https://app.example.com",
  "device_id_hash": "sha256:...",
  "státusz": "verés"
}

Alapértelmezés szerint ne tároljon nyers mikrofonhangot vagy teljes promptokat. Tároljon konfigurációs kivonatokat, azonosítókat, irányelvi döntéseket és minimális metaadatokat, amelyek elegendőek az ellenőrzéshez, a támogatáshoz és a számlázáshoz. Ha rögzítésre van szükség, tegye egyértelművé, a beleegyezés tudatában és a bérlői szabályzat által vezérelve.

Efemer token-verési végpont

Egy átjáróra néző végpont így nézhet ki:

POST /v1/realtime/sessions
Engedélyezés:  hordozó
Tartalom típusa: Application/json
{
  "bérlő_azonosítója": "bérlő_123",
  "end_user_id": "user_hash_456",
  "feature": "support_voice_agent",
  "origin": "https://app.example.com",
  "device_nonce": "8f3b...",
  "requested_profile": "hangtámogatási szabvány"
}

A válasz nem fedheti fel az upstream futásidejű kulcsát:

{
  "session_id": "rt_01j...",
  "szolgáltató": "szolgáltató_a",
  "transport": "webrtc",
  "client_secret": "ephemeral_secret_here",
  "expires_at": "2026-08-21T10:01:00Z",
  "jóváhagyva": {
    "model_profile": "Voice-support-standard",
    "max_duration_seconds": 900,
    "modalities": ["audio_input", "audio_output"],
    "tools": ["lookup_order_status"]
  }
}

Kibocsátás kötése eredethez, hitelesített felhasználói munkamenethez, bérlőhöz és egy nonce-hez. Előfordulhat, hogy a szolgáltató nem támogatja az összes kötést natív módon, ezért kényszerítse ki, amit az átjárón tud: korlátozza a pénzverési kísérleteket, utasítsa el a váratlan eredeteket, rögzítse az eszköz metaadatait, és tartsa röviden a token élettartamát.

Munkamenetsablonok: alapértelmezés szerint szűkített

A valós idejű munkamenet-sablonnak szigorúbbnak kell lennie, mint egy általános csevegés-befejezési kérésnek. A hangos munkamenetek interaktívak, valós időben nehezebb ellenőrizni, és a vártnál tovább futhatnak.

Az ajánlott sablonmezők a következők:

• Rögzített modell vagy üzembe helyezés: egy átjáróoldali modellprofil választja ki.
• Utasítások: szerver által vezérelt prompt sablon bérlő által jóváhagyott változókkal.
• Hang: egy engedélyezési listáról van kiválasztva.
• Modalitások: tiltsa le a szöveges, képi vagy eszközmódokat, kivéve, ha a terméknek szüksége van rájuk.
• Bemeneti hangbeállítások: fordulatészlelés, átírási viselkedés vagy elnémítás kezelése, ahol ez támogatott.
• Kimeneti megszorítások: maximális válaszhossz vagy válaszviselkedés, ahol ez támogatott.
• Eszközök engedélyezési listája: csak a funkcióhoz szükséges eszközök.
• Munkamenet élettartama: a hitelesítő adatok rövid lejárata plusz a hívás maximális időtartama.

A szigorú sablonok csökkentik a rugalmasságot, de megkönnyítik a költségeket, a megfelelőséget és a támogatást. Ha a termékcsapatoknak dinamikus hangokra vagy utasításokra van szükségük, tegye közzé a szabályozott profilváltozatokat, ahelyett, hogy tetszőleges ügyfélkonfigurációt adna át a szolgáltatónak.

Költségkeret-vezérlők a valós idejű hanghoz

A valós idejű használatot nehezebb lehet árazni, mielőtt a végső szolgáltatói használat megérkezik. Egy munkamenet öt másodpercig vagy húsz percig tarthat. Tartalmazhat hangbemenetet, hangkimenetet, átírást, eszközhívásokat és szöveges tokeneket. Az átjárónak ezért kombinálnia kell a foglalást, a korlátokat és az egyeztetést.

A pénzverés előtt

• A maximális időtartam, a modell, a módozatok és a bérlői terv alapján becsülje meg a legrosszabb vagy óvatos munkamenet-költséget.
• Foglaljon le költségkeretet az ügyfél titkos adatának kiadása előtt.
• Az új munkamenetek elutasítása, ha a bérlőnek nincs elegendő egyensúlya, vagy elérte a napi hangkorlátozást.

A munkamenet során

• Kövesse nyomon az aktív munkameneteket és a várható égési sebességet.
• Alkalmazzon bérlői és felhasználói párhuzamossági korlátokat.
• Használja a szolgáltató által támogatott megszüntetési vagy munkamenet-frissítési funkciókat, ha elérhetők.
• Riasztások aktiválása a munkamenet rendellenes időtartamára, ismételt újracsatlakozásokra vagy szokatlan hanghasználatra.

A munkamenet után

• Ahol rendelkezésre állnak, töltse fel a szolgáltató használati eseményeit vagy a végső használati jelentéseket.
• Állítsa be a lefoglalt költségkeretet a tényleges költségre.
• Ha a pontos használat késik vagy nem teljes, tartson óvatos foglalást az egyeztetésig.
• A használat hozzárendelése bérlőhöz, felhasználóhoz, szolgáltatáshoz, modellprofilhoz és munkamenet-azonosítóhoz.

Ez kevésbé pontos, mint a szinkron szöveges számlázás a válasz pillanatában, de működési szempontból biztonságosabb, mint a közvetlen hitelesítési adatok fenntartás nélküli kiadása.

Eszközhívások valós idejű munkameneteken belül

A valós idejű hangügynökök gyakran hasznosabbak, ha eszközöket hívhatnak: kereshetnek egy fiókban, foglalhatnak időpontot, frissíthetnek jegyet vagy elindíthatnak egy munkafolyamatot. Az eszköz végrehajtását az audioátviteltől elkülönítve kezelje.

A böngésző médiakapcsolata nem jelenthet engedélyt mellékhatások végrehajtására. Az átjárónak vagy a háttérrendszernek érvényesítenie kell:

• Eszköz-nyilvántartás: minden eszköznek van tulajdonosa, sémája, hatóköre és kockázati szintje.
• Engedélyezőlisták: a munkamenet-sablonok pontosan felsorolják az elérhető eszközöket.
• Jóváhagyási kapuk: a mellékhatásokkal járó műveletekhez felhasználói megerősítés, emberi jóváhagyás vagy szabályzat jóváhagyása szükséges.
• Különálló hitelesítő adatok: az eszköz hitelesítő adatai soha nem ágyazódnak be a böngésző munkamenetbe.
• Csatlakozó ellenőrzési nyomvonal: minden eszközhívás a valós idejű munkamenet-azonosítóra hivatkozik.

Egy támogatási hangügynök például engedélyezheti a lookup_order_status automatikus hívását, de a refund_payment kifejezett megerősítést és egy háttér-jóváhagyási eseményt igényelhet. A valós idejű szolgáltató levezényelheti a beszélgetést, de az átjárónak kell szabályoznia az engedélyhatárt.

Láthatóság minden bájt proxy nélkül

A közvetlen WebRTC médiaáramlás csökkenti az átjáró késését és a sávszélesség terhelését, de a láthatóság jobban függ a szolgáltatói eseményektől és a munkamenet metaadataitól. Tervezze meg az elemzéseket több bizonyítékforrás köré:

• Munkamenet-létrehozási rekordok az átjáróból.
• Ügyféloldali életciklus-események, például csatlakozás, leválasztás, újracsatlakozási kísérlet, mikrofon megtagadása vagy hívás befejezése.
• Szolgáltatói munkamenet-azonosítók, használati események vagy végső használati rekordok.
• Időtartam alapú becslések, amikor a szolgáltató késik a használat során.
• A munkamenet-azonosítóval egyesített eszközhívási naplók.
• Költségkeret-foglalási és elszámolási rekordok.

Ne várja meg a tökéletes szolgáltatói telemetriát a vezérlők elindítása előtt. Kezdje óvatos fenntartásokkal és egyértelmű hozzárendeléssel, majd javítsa az elszámolás pontosságát, ahogy a szolgáltatók használatáról szóló jelentések érnek.

Biztonsági ellenőrzőlista

• Soha ne küldjön szabványos szolgáltatói API-kulcsokat böngésző- vagy mobilklienseknek.
• A valós idejű munkamenet indításához használja a rövid életű, átmeneti kliens titkokat.
• A tokenverés előtt hitelesítse a végfelhasználót.
• A pénzverési döntéseket a bérlő, a felhasználó, a származási, a nonce és az eszköz metaadataihoz köti, ha lehetséges.
• Tartsa a szolgáltató futásidejű hitelesítő adatait egy háttértárolóban vagy átjáró titkos tárolójában.
• Rögzítsen egy munkamenet-naplózási sort a szolgáltató létrehozása előtt.
• Használjon bérlő által jóváhagyott munkamenetsablonokat tetszőleges ügyfélkonfiguráció helyett.
• Alkalmazzon egyidejűségi, napi használati és maximális időtartamkorlátokat.
• Használja az engedélyezőlistákat és jóváhagyási kapukat a mellékhatásokhoz.
• Alapértelmezés szerint minimalizálja a nyers prompt és hangvisszatartást.
• Karbantartson egy szolgáltatói képességmátrixot a token élettartamára, régiókra, eszközökre, használati eseményekre és megszüntetési vezérlőkre vonatkozóan.

Szolgáltatói képességmátrix

Mivel a valós idejű API-k különböznek egymástól, az átjáróadaptert a képességek, nem pedig feltételezések alapján modellezze. Egy egyszerű mátrix irányíthatja az útválasztási és irányelvi döntéseket:

{
  "szolgáltató_a": {
    "transports": ["webrtc", "websocket"],
    "ephemeral_client_tokens": igaz,
    "token_ttl_seconds": 60,
    "server_side_disconnect": igaz,
    "session_update": igaz,
    "usage_events": "final_and_incremental",
    "régiók": ["us", "eu"],
    "tool_approval_supported": igaz
  },
  "szolgáltató_b": {
    "transports": ["websocket"],
    "ephemeral_client_tokens": igaz,
    "token_ttl_seconds": 120,
    "server_side_disconnect": false,
    "session_update": hamis,
    "usage_events": "final_only",
    "regions": ["us"],
    "tool_approval_supported": hamis
  }
}

Ha egy bérlő EU-beli tartózkodási helyet és szerveroldali leállítást igényel, az átjáró csak olyan szolgáltatókhoz és telepítésekhez irányíthat, amelyek mindkettőt kielégítik. Ha egyik szolgáltató sem felel meg az irányelvnek, sikertelen lezárás.

Migrációs útvonal

Nem kell minden vezérlőt az első napon elkészítenie. A gyakorlati bevezetés a következő:

1. Csak proxy-munkamenet létrehozása: tartsa közvetlenül a médiát, de minden valós idejű munkamenetet a háttérrendszernek vagy az átjárónak kell készítenie.
2. Irányelvsablonok hozzáadása: cserélje ki az ügyfél által biztosított modell- és utasításmezőket jóváhagyott profilokra.
3. Költségkeret-foglalás hozzáadása: konzervatív munkamenet-költség lefoglalása a token kiadása előtt.
4. Életciklus-elemzés hozzáadása: a munkamenet kezdetének, csatlakozásának, leválasztásának, időtartamának, szolgáltatói munkamenet-azonosítójának és elszámolási állapotának összegyűjtése.
5. Eszközirányítás hozzáadása: engedélyezőlisták és jóváhagyások szükségesek a valós idejű eszközhívásokhoz.
6. Szolgáltatói képesség-útválasztás hozzáadása: válassza ki a szolgáltatókat régió, mód, eseménytámogatás és leállítási vezérlők szerint.
7. Opcionális megfigyelői vagy rögzítési munkafolyamatok hozzáadása: csak akkor, ha az megfelel, beleegyezett és a bérlő jóváhagyta.

Intézhető következtetés

A valós idejű hangalapú mesterséges intelligencia esetében az AI API-átjárónak nem szabad automatikusan médiaközvetítővé válnia. A biztonságosabb és alacsonyabb késleltetésű architektúra az, hogy az átjárót irányítsa a vezérlősíkért: hitelesítse a felhasználókat, kényszerítse ki a bérlői szabályzatot, tartalékolja a költségvetést, hozzon létre egy audit rekordot, készítsen egy szűk hatókörű, ideiglenes hitelesítő adatot, és egyeztetje a használatot a munkamenet után.

Az alapvető megvalósítási szabály egyszerű: a böngészők rövid életű munkamenettitkokat kaphatnak, soha nem hosszú élettartamú szolgáltatói kulcsokat. Minden más ebből a határból következik: szigorú sablonok, eredet-tudatos verés, párhuzamos munkamenet-korlátok, eszközök jóváhagyása, használati elszámolás és szolgáltatói képességmátrixok. Ez valós idejű hangélményt biztosít a termékcsapatok számára anélkül, hogy feladnák az API-kulcs-kezelést, az AI API-költség-szabályozást, a csapat API-irányítást vagy az AI-használati elemzést.

Kapcsolódó olvasmányok

• szolgáltatói hitelesítő adattár futásidejű kulcsokhoz
• költségvetési foglalási és elszámolási főkönyv