Datu saglabāšanu apzinošs AI API maršrutēšana: ieviešiet ZDR, dzīvesvietas un reģistrēšanas politikas vārtejā
Praktiska vārtejas arhitektūra AI API trafika maršrutēšanai, izmantojot datu saglabāšanas politiku: klasificējiet pieprasījumu jutīgumu, karšu nodrošinātāja saglabāšanas uzvedību, bloķējiet nesaderīgas funkcijas, saglabājiet drošu analīzi un pārbaudiet katru lēmumu.
Drošības komandām ne tikai jāzina, kurš modelis ir lētākais, ātrākais vai jaudīgākais. Viņiem ir jāzina, vai konkrētu pieprasījumu likumīgi un funkcionāli var nosūtīt konkrētam pakalpojumu sniedzējam, galapunktam, reģionam, līdzeklim un reģistrēšanas režīmam.
Tas ir grūtāk, nekā izklausās. Modelis var būt pieņemams parastai iekšējai tērzēšanai, bet ne klienta PII. Pakalpojumu sniedzējs var piedāvāt nulles datu saglabāšanu vienam API ceļam, savukārt meklēšanas iezemējuma funkcija saglabā uzvednes un izvades uz noteiktu laiku. Reģions var atbalstīt krātuves rezidenci, bet ne gaidīto apstrādes režīmu. Izstrādātājiem piederošie žurnāli var būt konfigurējami, savukārt pakalpojumu sniedzēja ļaunprātīgas izmantošanas uzraudzības žurnālos tiek ievērota cita politika.
Praktiskā atbilde ir pārcelt lēmumus par saglabāšanu no atsevišķām lietojumprogrammām uz AI API vārteju. Vārtejai ir jāklasificē pieprasījums, jānovērtē tas, izmantojot pakalpojumu sniedzēja iespēju matricu, jābloķē nesaderīgi līdzekļi, jānovirza tikai uz apstiprinātiem modeļu profiliem un jāreģistrē politikas lēmums, pēc noklusējuma nesaglabājot neapstrādātas uzvednes.
Lasītāja problēma: pakalpojumu sniedzēja konfidencialitātes noteikumi nav izpildlaika vadīklas
Lielākā daļa komandu sāk ar izklājlapu vai drošības pārbaudi, kurā norādīts, kuri AI nodrošinātāji ir apstiprināti. Tas ir noderīgi, taču ar to nepietiek ražošanas maršrutēšanai.
Lietojumprogrammas veic izpildlaika izvēles:
- Kuram modeļa ID ir jāapstrādā šis pieprasījums?
- Vai pieprasījumā ir jāizmanto meklēšanas pamatojums, failu augšupielāde, koda izpilde, pakešu apstrāde, tūlītēja kešatmiņa vai saglabātas sarunas?
- Kuram reģionam vai galapunktam ir jāapstrādā pieprasījums?
- Vai sistēma var reģistrēt atkļūdošanas neapstrādāto uzvedni?
- Vai rezerves maršrutēšana var nosūtīt to pašu pieprasījumu citam pakalpojumu sniedzējam?
Katra no šīm izvēlēm var mainīt saglabāšanas profilu. Pieprasījums, kas bija saderīgs vienkāršajā tērzēšanas režīmā, var kļūt neatbilstošs, kad izstrādātājs ieslēdz zemējumu vai pastāvīgu sarunu glabāšanu. Atkāpšanās noteikums, kas izstrādāts uzticamībai, var nejauši novirzīt regulētos datus uz pakalpojumu sniedzēja ceļu, kas nav apstiprināts nulles datu saglabāšanai, datu atrašanās vietai vai ļaunprātīgas izmantošanas uzraudzības vadīklām.
Ieteikums: uztveriet saglabāšanas darbību kā pirmās klases maršrutēšanas ierobežojumu, nevis kā dokumentāciju, kas pievienota pakalpojumu sniedzēja kontam.
Fakti, kas jākodē pirms politikas izstrādes
Precīzi noteikumi atšķiras atkarībā no pakalpojumu sniedzēja, produkta, līguma, reģiona, galapunkta un līdzekļa. Nepaļaujieties uz atmiņu vai vienreizēju pārskatu. Izveidojiet avotam piederošu matricu un atjauniniet to, kad mainās noteikumi.
Vairāki pašreizējie publisko pakalpojumu sniedzēju dokumenti parāda, kāpēc tas ir nepieciešams:
- OpenAI: API datu atrašanās vieta ir dokumentēta kā projektā konfigurēta, un reģionālajiem pieprasījumiem ir nepieciešami reģionam specifiski domēna prefiksi. OpenAI arī atšķir krātuves atbalstu no apstrādes atbalsta pēc reģiona un atzīmē papildu prasības reģioniem ārpus ASV. OpenAI norāda, ka API datu atrašanās vietai ārpus ASV ir nepieciešams apstiprinājums ļaunprātīgas izmantošanas uzraudzības vadīklām un modificēts saglabāšanas grozījums.
- Antropisks: antropiski dokumentē nulles datu saglabāšanu ar API saistītiem komerciālas lietošanas gadījumiem, vienlaikus ņemot vērā, ka dažiem saistītiem produktiem vai atbilstības plūsmām ir atsevišķi saglabāšanas modeļi, tostarp ilgāka saglabāšana darbību plūsmai un attālās sesijas atšifrējumi.
- Google Gemini: Gemini API termini atšķir neapmaksātus un maksas pakalpojumus. Neapmaksātiem pakalpojumiem Google var izmantot iesniegto saturu un ģenerētās atbildes, lai uzlabotu produktus; maksas pakalpojumiem Google saka, ka uzvednes un atbildes netiek izmantotas produktu uzlabošanai. Gemini Developer API ZDR dokumentācijā teikts, ka maksas pakalpojuma ļaunprātīgas izmantošanas uzraudzības žurnālos parasti tiek saglabātas uzvednes un atbildes ierobežotu laika periodu, savukārt apstiprinātie ZDR projekti pirms reģistrēšanas notīra lietotāja saturu un identificējamus metadatus.
- Funkcijai specifiska krātuve: Gemini dokumentācijā teikts, ka Grounding with Google Search un Grounding with Google Maps glabā uzvednes, kontekstuālo informāciju un ģenerēto izvadi 30 dienas, taču šo krātuvi nevar atspējot, kad šīs funkcijas tiek izmantotas.
- Izstrādātājiem piederošie žurnāli: Gemini API reģistrēšanas dokumentācijā teikts, ka izstrādātājiem piederošos API žurnālus pēc noklusējuma var saglabāt līdz 55 dienām projektiem, kuros iespējoti norēķini, un izstrādātāji var izvēlēties īsākus periodus, piemēram, 7, 14 vai 28 dienas.
- Riska pārvaldība: NIST ģeneratīvais AI profils iesaka pārraudzīt mākslīgā intelekta radītā satura konfidencialitātes riskus un ģeneratīvās AI politikas saistīt ar esošajiem datiem, programmatūru, juridiskiem, atbilstības un riska pārvaldības procesiem.
Šie ir fakti, kas pirms izlaišanas jāpārbauda saskaņā ar pašreizējo piegādātāja dokumentāciju. Arhitektūras stunda ir stabila: saglabāšana nav viena nodrošinātāja līmeņa Būla vērtība.
Arhitektūra: vārtejas politikas dzinējs pieprasījuma ceļā
Saglabāšanas vārtejai ir pieci galvenie komponenti:
- Pieprasīt jutīguma klasifikatoru: pirms maršrutēšanas atzīmē darba slodzi.
- Pakalpojumu sniedzēja iespēju matrica: apraksta nodrošinātāju, modeli, galapunktu, reģionu, saglabāšanu, reģistrēšanu un funkciju darbību.
- Politikas kā koda noteikumi: pārveidojiet drošības prasības izpildlaika atļaujas, noraidīšanas vai pārskatīšanas lēmumos.
- Funkciju vārtu slānis: bloķē saglabāšanu mainošas funkcijas, ja vien tas nav skaidri atļauts.
- Audita un analīzes slānis: reģistrē noderīgus metadatus, pēc noklusējuma nesaglabājot neapstrādātas uzvednes.
Vārtejai nav jāsaprot visas juridiskās nianses. Tai ir jāīsteno lēmumi, ko apstiprinājušas jūsu juridiskās, drošības, atbilstības un platformas komandas.
1. darbība. Pirms modeļa atlasīšanas klasificējiet pieprasījuma jutīgumu
Sāciet ar nelielu klasifikācijas taksonomiju. Tam jābūt pietiekami vienkāršam, lai izstrādātāji to varētu izmantot, bet pietiekami izteiksmīgam, lai virzītu politiku.
Jūtības iezīmju piemēri:
publisks: publiska dokumentācija, mārketinga kopija, publiska vietnes saturs.iekšējais: nepubliska uzņēmuma informācija ar zemu jutīgumu.konfidenciāli: stratēģija, līgumi, klientu konteksts, nepublicēta produkta informācija.customer_pii: vārdi, e-pasta adreses, adreses, konta identifikatori, atbalsta atšifrējumi.regulēti: veselības aprūpes, finanšu, juridiskie, izglītības vai ar jurisdikciju saistīti aizsargāti dati.avota_kods: patentēts kods, konfigurācijas, arhitektūras faili.akreditācijas dati: noslēpumi, pilnvaras, paroles, privātās atslēgas. Lielākajā daļā sistēmu tas ir jābloķē, nevis jāmaršrutē.
Klasifikācija var būt no vairākiem avotiem:
- Lietojumprogrammas nodrošināta galvene, piemēram,
X-Data-Class: customer_pii. - Īrnieka politika, saskaņā ar kuru visa regulētā klienta datplūsma tiek uzskatīta par regulētu, ja vien tā nav pazemināta saskaņā ar apstiprinātu noteikumu.
- Galapunkta politika, kurā atbalsta biļešu kopsavilkuma noklusējuma vērtība ir
customer_pii. - Viegla satura skenēšana, lai atrastu akreditācijas datus, acīmredzamus PII vai politikas pārkāpumus.
Ieteikums: nav pilnībā atkarīgi no automātiskās noteikšanas. Pieprasīt, lai lietojumprogrammas deklarētu paredzēto datu klasi, pēc tam izmantojiet skenēšanu, lai konstatētu acīmredzamas neatbilstības vai piespiestu noteikt drošāku klasi.
2. darbība: izveidojiet nodrošinātāja iespēju matricu
Iespēju matrica ir patiesības avots, ko maršrutētājs novērtē. Tai ir jāveido, jāpārskata un jāpārbauda tā versija tāpat kā ražošanas konfigurācija.
Lauku piemēri:
{
"profile_id": "provider_x.chat.eu.zdr",
"provider": "provider_x",
"modelis": "modelis-liels",
"api_family": "chat_completions",
"galapunkts": "https://eu.example-provider.com/v1",
"reģions": "eu",
"processing_residency": ["eu"],
"storage_residency": ["eu"],
"zdr_eligible": patiess,
"zdr_contract_required": patiess,
"training_use": "not_used_for_training_on_paid_api",
"abuse_monitoring": "approved_modified_retention_required",
"developer_log_retention_days": 0,
"raw_prompt_logging_allowed": nepatiess,
"supported_features": {
"plain_chat": taisnība,
"straumēšana": taisnība,
"tool_calls": taisnība,
"search_grounding": nepatiess,
"maps_grounding": nepatiess,
"file_upload": nepatiess,
"partija": nepatiess,
"stored_conversations": nepatiess
},
"last_reviewed": "2026-08-01",
"source_refs": ["security-review-123", "vendor-doc-version-abc"]
}
Izmantojiet modeļu profilus, nevis neapstrādātus modeļu ID. Profils apvieno modeli, nodrošinātāju, galapunktu, reģionu, funkciju kopu un saglabāšanas pozu. Izstrādātāji pieprasa model_profile: compliant_summarisation, nevis tikai modelis: ātrākais-lielākais modelis.
Ieteikums: matricā iekļaujiet līguma priekšnoteikumus. Maršruts nav ZDR apstiprināts tikai tāpēc, ka pārdevējs kaut kur piedāvā ZDR. Tas tiek apstiprināts tikai tad, ja jūsu konts, projekts, reģions un galapunkts atbilst nepieciešamajiem nosacījumiem.
3. darbība: rakstiet politikas kā koda noteikumus
Politikas noteikumiem ir jābūt skaidriem, pārbaudāmiem un lasāmiem drošības un platformas komandām.
Noteikumu piemēri pseidokodā:
noliegt, ja data_class == "akreditācijas dati"
iemesls "credentials_must_not_be_sent_to_model"
atļaut tikai tad, ja datu_klase ["regulated", "customer_pii"]
un profile.zdr_eligible == true
un profile.zdr_contract_required_satisfied == patiess
cēlonis_neveiksmei "model_profile_not_zdr_eligible"
noliegt, ja rezidence_required == "eu"
un "eu" nav profilā.processing_residency
iemesls "region_processing_not_supported"
noliegt, ja datu_klase ["confidential", "customer_pii", "regulated"]un request.raw_prompt_logging == true
iemesls "raw_prompt_logging_not_allowed"
noliegt, ja request.features.search_grounding == true
un politika.requires_zdr == true
un profile.feature_storage.search_grounding_days > 0
iemesls "iezemējuma_nepieciešams_saglabāts_saturs"
noliegt, ja fallback_profile.retention_level
Šiem noteikumiem ir jādarbojas pirms pakalpojumu sniedzēja izvēles un vēlreiz pirms atkāpšanās. Rezerves maršruts ir izplatīts nejaušas politikas novirzes avots: primārais maršruts var būt atbilstošs, savukārt rezerves maršruts ir tikai pieejams.
4. darbība. Uztveriet rīkus un līdzekļus kā saglabāšanas maiņas iespējas
Nemodelējiet saglabāšanu tikai kā pamata modeļa īpašību. Funkcijas bieži maina krātuves, reģistrēšanas vai pārskatīšanas darbību.
Piešķiriet katrai funkcijai savus politikas karogus:
- Meklēšanas zemējums: atkarībā no pakalpojumu sniedzēja noteikumiem var saglabāt uzvednes, izgūto kontekstu un ģenerēto izvadi.
- Kartes vai atrašanās vietas iezemējums: var ieviest atrašanās vietai raksturīgus žurnālus vai saglabāšanas noteikumus.
- Failu augšupielāde: var glabāt failus atsevišķi no uzvednēm un atbildēm.
- Koda izpilde: var izveidot pagaidu failus, izpildes žurnālus vai smilškastes artefaktus.
- Pakešdarbi: var atšķirties saglabāšanas, rindas un rezultātu uzglabāšanas darbības no sinhronajiem API izsaukumiem.
- Saglabātās sarunas: apzināti tiek saglabāts saturs, un tās nekad nedrīkst paslēpt aiz vispārīgas tērzēšanas iespējas.
- Novērtēšanas vai pārskatīšanas informācijas paneļi: var izveidot cilvēku veiktās pārskatīšanas darbplūsmas vai ilgākas datu kopas.
Ieteikums: nomnieka un maršruta līmenī izvēlieties funkcijas, kas maina saglabāšanu. Ja izstrādātājs iespējo grounding_search=true, vārtejai ir atkārtoti jānovērtē pieprasījums pēc līdzekļu krātuves noteikumiem, pirms tas tiek nosūtīts augšup.
5. darbība: saglabājiet analīzi, nesaglabājot neapstrādātas uzvednes
Maršrutēšanai ar saglabāšanu nevajadzētu padarīt platformas komandu aklu. Varat saglabāt noderīgu AI lietojuma analīzi, vienlaikus samazinot satura krātuvi.
Droši noklusējuma telemetrijas lauki:
- īrnieka ID un projekta ID
- jauktā vai iekšējā API atslēgas ID
- modeļa profila ID un pakalpojumu sniedzēja ID
- pieprasīt laikspiedolu un reģionu
- ievades, izvades, kešatmiņā saglabāto un argumentācijas pilnvaru skaits, ja tas ir pieejams
- latents, statusa kods, atkārtoto mēģinājumu skaits un atkāpšanās lēmums
- aptuvenās un nokārtotās izmaksas
- datu klasifikācijas etiķete
- politikas versija un politikas lēmuma iemesls
- Funkciju karodziņi ir pieprasīti un funkciju karodziņi ir atļauti
Izvairieties no neapstrādātu uzvedņu un modeļu izvadu saglabāšanas pēc noklusējuma konfidenciālai datplūsmai. Ja atkļūdošanai ir nepieciešams saturs, izmantojiet kontrolētu darbplūsmu:
- klienta vai nomnieka apstiprinājums
- šaurs laika logs
- izlases ierobežojums
- rediģēšanas karte
- atsevišķa piekļuves kontrole
- īss derīguma termiņš
- pārbaudīt žurnālu par to, kas to iespējojis un kāpēc
Tas ir kompromiss. Neapstrādātu uzvedņu žurnālu bloķēšana apgrūtina atkļūdošanu, atbalstu, kvalitātes pārskatīšanu un ļaunprātīgas izmantošanas izmeklēšanu. Taču, saglabājot visu pēc noklusējuma, tiek nodrošināta lielāka konfidencialitātes, pārkāpumu un atbilstības aizsardzība.
6. darbība. Atgrieziet apstrīdējamus atteikuma iemeslus
Vispārējs 403 aizliegts satrauc izstrādātājus un veicina risinājumus. Norādiet stabilu mašīnlasāmu iemeslu un cilvēkiem saprotamu skaidrojumu.
Atbildes piemērs:
{
"kļūda": {
"type": "policy_denied",
"kods": "grounding_requires_30_day_storage",
"message": "Meklēšanas zemējums nav atļauts darba slodzēm, kas atzīmētas ar prasību_zdr, jo šī nodrošinātāja funkcija saglabā uzvednes, konteksta un izvades saturu."
"request_id": "req_123",
"policy_version": "retention-policy-2026-08-01",
"allowed_actions": [
"disable_search_grounding",
"choose_profile:zdr_plain_chat",
"pieprasījums_izņēmums"
]
}
}
Noderīgi atteikuma kodi ir:
model_profile_not_zdr_eligibleregion_processing_not_supportedstorage_residency_not_supportedraw_prompt_logging_not_allowedfeature_requires_content_storagefallback_weakens_retention_policycontract_prerequisite_missingcredentials_detected
7. darbība: pievienojiet izņēmuma darbplūsmu, nevis slēptu apiešanu
Daži izņēmumi ir likumīgi: reaģēšana uz incidentiem, klientu apstiprināta atkļūdošana, migrācijas pārbaude vai pagaidu pakalpojumu sniedzēja ierobežojums. Vārtejai ir jāatbalsta izņēmumi, nepārvēršot tos par pastāvīgu ēnu politiku.
Katrā izņēmumā jāiekļauj:
- apstiprinātāja identitāte
- pieprasītā komanda vai īrnieks
- biļetes vai riska pārskatīšanas saite
- uzņēmējdarbības pamatojums
- atļautie modeļu profili un funkcijas
- aptvertās datu klases
- derīguma termiņš
- papildu reģistrēšanas prasības
Ieteikums: padariet izņēmumus šaurākus par parasto politiku. Izvairieties no globāliem slēdžiem, piemēram, disable_retention_policy=true. Dodiet priekšroku tvēruma ignorēšanai, piemēram, “atļaut atkļūdošanas uzvednes reģistrēšanu nomniekam A galapunktam B 24 stundas ar rediģēšanas un drošības apstiprinājumu”.
Darbības kontrolsaraksts
- Izveidojiet versiju nodrošinātāja iespēju matricu.
- Piešķiriet īpašnieku pakalpojumu sniedzēja noteikumiem, līguma priekšnoteikumiem un saglabāšanas pārskatiem.
- Pieprasīt lietojumprogrammām deklarēt datu klasi, dzīvesvietas prasību un pieprasītos līdzekļus.
- Noklusējuma konfidenciāla un regulēta datplūsma bez neapstrādātas tūlītējas reģistrēšanas.
- Attēlot rīkus, zemējumu, failu augšupielādi, pakešu un saglabātās sarunas kā atsevišķus iespēju karogus.
- Palaidiet politikas pārbaudes pirms primārās maršrutēšanas un pirms rezerves maršrutēšanas.
- Žurnāla politikas versija, modeļa profils, datu klase, līdzekļu karodziņi un atteikuma iemesls.
- Analytics metadatus turiet atsevišķi no uzvednes un izvades satura.
- Pārbaudes pārstāvis atļauj un noliedz gadījumus CI.
- Pārskatiet politikas novirzi ikreiz, kad pakalpojumu sniedzējs maina noteikumus, reģionus, galapunktus vai līdzekļus.
Tiek izteikti kompromisi
Stingra maršrutēšana samazina izvēli. ZDR un dzīvesvietas ierobežojumi var liegt izmantot jaunāko modeli, viszemāko izmaksu maršrutu vai ar funkcijām bagātu galapunktu.
Reģionālā maršrutēšana var palielināt latentumu vai izmaksas. Tuvākais saderīgais reģions var neatbalstīt vēlamo apstrādes režīmu vai var būt nepieciešams cits nodrošinātāja ceļš.
Funkciju vārti pārsteidz izstrādātājus. Izstrādātājs var domāt, ka tas tikai iespējo meklēšanu, taču drošība redz jaunu saglabāšanas darbību. Dokumentācijas un nolieguma ziņojumi samazina berzi.
Ātra minimizēšana sarežģī atkļūdošanu. Lai izmeklētu problēmas, neglabājot visu, komandām ir nepieciešami rediģēti paraugi, nomnieka apstiprināti atkļūdošanas logi un spēcīgi metadati.
Matricai nepieciešama apkope. Mainās pakalpojumu sniedzēja noteikumi. Jaunu modeļu palaišana. Reģioni paplašinās. Funkcijas pāriet no beta uz ražošanu. Novecojusi matrica ir sliktāka nekā bez matricas, jo tā rada nepatiesu pārliecību.
Kas ir ieteikums un kas ir pareģojums?
Ieteikumi: piespiediet saglabāšanu vārtejā, klasificējiet pieprasījumus pirms maršrutēšanas, izveidojiet nodrošinātāja spēju matricu, bloķējiet saglabāšanu mainošas funkcijas, izmantojot politiku, izvairieties no neapstrādātas uzvednes reģistrēšanas pēc noklusējuma un versijājiet katru politikas lēmumu.
Prognoze: AI platformas komandas arvien vairāk izmantos privātuma stāju kā daļu no modeļu atlases. Tā vietā, lai jautātu "kuru modeli mums vajadzētu izmantot?" lietojumprogrammas prasīs modeļa profilu, kas atbilst iespējām, izmaksām, latentuma, dzīvesvietas un saglabāšanas ierobežojumiem.
Paredze: pakalpojumu sniedzēja konfidencialitātes funkcijas turpinās atšķirties. Ar vārtejām, kas normalizē tikai pieprasījumu un atbilžu formātus, nepietiks; arī ražošanas komandām būs jānormalizē politika.
Lietojams secinājums
Maršrutēšana ar datu saglabāšanu nav atsevišķs atbilstības informācijas panelis. Tas ietilpst pieprasījuma ceļā.
Sāciet ar trim piegādēm: pieprasījuma jutīguma taksonomiju, versiju nodrošinātāja iespēju matricu un nelielu politikas kā koda noteikumu kopumu ZDR, dzīvesvietai, neapstrādātai reģistrēšanai, atkāpšanās un saglabāšanas maiņas funkcijām. Pēc tam ļaujiet vārtejai atgriezt skaidrus atteikuma iemeslus un saglabāt analīzi, pēc noklusējuma nesaglabājot neapstrādātu saturu.
Šis dizains centralizē lēmumus, kas citādi būtu izkaisīti pa SDK opcijām, vides mainīgajiem, pakalpojumu sniedzēju konsolēm un komandai specifiskām konvencijām. Tas arī nodrošina drošības un platformas komandām praktisku audita izsekojamību: kurš pieprasījums tika atļauts, kura politikas versija tika piemērota, kurš modeļa profils tika izvēlēts un kāpēc.