LLM API võtmehaldus meeskondade jaoks: isoleerimine, rotatsioon, kululimiidid ja lekkereageerimine

Üks jagatud LLM API võti on mugav kuni esimese lekke, seletamatu arve või tootmiskatkestuseni. API võtmehalduse praktiline eesmärk ei ole ainult mandaadi saladuse hoidmine. Selle eesmärk on piirata plahvatuse raadiust, omistada kasutust, ohutult pöörata, tuvastada ebatavalisi kulutusi ja tühistada juurdepääs, ilma et sellega seotud rakendusi rikutaks.

See juhend annab meeskondadele teenusepakkujate, lüüside, sisemiste rakenduste, agentuuride ja klientidele suunatud toodete LLM API võtmete töömudeli. See eraldab kontrollitud turbefaktid soovitatavatest rakendusvalikutest ja väldib eeldamist, et kõik pakkujad kasutavad samu juhtelemente.

Kasutusmudel: iga võti vajab piiri

Kasulik võtmestrateegia algab ühest küsimusest: mis peaks ebaõnnestuma, kui seda võtit kuritarvitatakse või tühistatakse? Kui vastus on „kogu ettevõte”, on võti liiga lai.

Fakt: OpenAI API võtmete ohutusjuhistes soovitatakse igal meeskonnaliikmel kasutada ainulaadset API-võtit, öeldakse, et võtmete jagamine on vastuolus selle kasutustingimustega ja soovitab määrata üksikutele võtmetele load, kui seda toetatakse. OpenAI juhised soovitavad ka mitte juurutada API-võtmeid kliendipoolsetes keskkondades, nagu brauserid või mobiilirakendused, kuna avatud võtmeid saab omaniku nimel taotluste esitamiseks kuritarvitada.

Soovitus: looge võtmed tööpiiride, mitte mugavuse ümber. Ühised piirid on järgmised:

• Keskkond: tootmine, lavastus, arendus, liivakast.
• Rakendus: vestlusroti taustaprogramm, dokumendiprotsessor, kodeerimisassistent, analüüsi töövoog.
• Omanik: meeskond, teenusekonto, arendaja, agentuuri klient, rentnik.
• Riskitase: avalik töövoog, sisemine automatiseerimine, paketttöö, eksperimentaalne integreerimine.
• Pakkuja või marsruut: ülesvoolu pakkuja A, pakkuja B, kinnitatud mudelirühm või lüüsi marsruut.

Kasvava meeskonna hea vaikeseade on: üks tootmisvõti rakenduse või teenuse kohta, üks mittetootmisvõti keskkonna kohta ja eraldi võtmed kõrge riskiga automatiseerimiseks või klienditasemel kasutamiseks. Agentuurid ja edasimüüjad peaksid eelistama klienditasemel virtuaalseid võtmeid, mitte jagama ülesvoolu pakkuja mandaate.

Ärge kunagi pange teenusepakkuja võtmeid hajutatud klientidele

Brauserid, mobiilirakendused, töölaualaiendid, avalikud pistikprogrammid ja kliendipoolsed skriptid on vaenulikud kohad pakkuja töötlemata mandaatide jaoks. Isegi kui võti hägustab, saab levitatud tarkvara kontrollida, kopeerida või pealt kuulata.

Fakt: OpenAI hoiatab selgesõnaliselt, et API võtmeid kliendipoolsetes keskkondades ei juurutataks. Mobiilirakenduste kohta tehtud uuringud on samuti teatanud püsivast LLM API mandaatide lekkest iOS-i rakendustes, toetades sama praktilist hoiatust: hajutatud klientidele manustatud mandaadid kipuvad põgenema.

Soovitus: kasutage tausta- või lüüsimustrit:

1. Klient autentib teie rakenduse, kasutades kasutajaseanssi, JWT-d, kliendiluba või lühiajalist mandaadi.
2. Teie taustaprogramm kinnitab kasutaja, rentniku, plaani ja nõutud toimingu.
3. Teie taustaprogramm või AI API lüüs helistab kaitstud serveripoolseid mandaate kasutades ülesvoolu LLM-i pakkujale.
4. Vastus tagastatakse kliendile pärast poliitika kontrollimist, logimist ja kuluarvestust.

See kujundus võimaldab teil tootereegleid jõustada enne kulutamist. Näiteks võib vabaplaaniga kasutaja piirduda väiksemate mudelitega, tasuline üürnik võib saada suuremaid päevakvoote ja sisemine administraatori töövoog saab kasutada eraldi marsruuti rangema jälgimisega.

Enne juhtumile reageerimise vajamist koostage võtmete loend

Meeskonnad avastavad sageli lekke ajal, et keegi ei tea, millisele teenusele paljastatud võti kuulub. See on laoseisu rike.

Fakt: OWASP API turvalisuse top 10 2023 sisaldab peamise API turberiskina valet varude haldamist. LLM-i infrastruktuuri puhul on võtmevarud API laoseisu osa: peate teadma, millised mandaadid on olemas, millele neil on juurdepääs ja kellele need kuuluvad.

Soovitus: igal võtmel peaksid olema metaandmed. Jälgige vähemalt:

• Võtme nimi ja sisemine võtme ID.
• Omanikmeeskond ja hädaabikontakt.
• Keskkond: tootmine, lavastus, arendus, liivakast.
• Eesmärk: rakendus, töövoog, rentnik, integreerimine või arendaja kasutamine.
• Lubatud pakkujad, mudelid, lõpp-punktid või marsruudid, kus neid toetatakse.
• Loomiskuupäev, viimati kasutatud ajatempel ja kavandatud ülevaatuse kuupäev.
• Kulutuste ülemmäär või kvoot.
• Pööramise olek ja lingitud juurutamise konfiguratsioon.

Kasutage nimetamisviisi, mis jääb hoiatustes loetavaks. Näiteks:

prod-supportbot-teamcx-gpt4class-2026q3stg-docprocessor-platform-lowcost-2026q3
rentant-acme-prod-standard-2026q3
dev-jlee-sandbox-2026q3

Täpne vorming on vähem oluline kui järjepidevus. Eesmärk on, et hoiatus saaks öelda, et üürnik-acme-prod-standard ületas päevakünnise ja vastutav omanik teaks, mida teha.

Rakendage vähimaid õigusi seal, kus platvorm seda võimaldab

Mitte kõik pakkujad või lüüsid ei paku identseid lubade juhtelemente, kuid põhimõte on järjepidev: võti peaks suutma teha ainult seda, mida selle töökoormus vajab.

Soovitus: piirake võtmeid ühe või mitme järgmise juhtelemendiga, kui seda toetatakse.

• Projekt: siduge võtmed projektiga, mitte terve organisatsiooniga.
• Mudel: lubage ainult heakskiidetud mudeleid; vaikimisi blokeerida kallid või eksperimentaalsed mudelid.
• Lõpp-punkt: lubage vestluse lõpetamist, kuid keelake mitteseotud administratiivsed lõpp-punktid.
• Pakkuja marsruut: lubage otsejuurdepääsu asemel lüüsi marsruut igale ülesvoolu teenusepakkujale.
• Määr: piirake taotlusi minutis või samaaegseid taotlusi.
• Eelarve: jõustage kulupiirangud võtme-, meeskonna- või üürniku kohta.

Näiteks lavastusvõti ei vaja tavaliselt juurdepääsu kõige kallimale tootmismudelile. Tõenäoliselt ei vaja dokumentide klassifitseerimise töötaja juurdepääsu kujutiste genereerimisele. Kliendile suunatud üürniku võti ei tohiks kasutada teise üürniku eelarvet.

Kujundage kulukontrollid kihtidena

LLM API turvalisus ja kulude juhtimine kattuvad. Lekkinud võti tuvastatakse sageli arveldusanomaaliana enne, kui see tuvastatakse turvasündmusena.

Fakt: OpenAI konto turvajuhised soovitavad mõistlikke kululimiite ja märgivad, et eraldi API-võtmed võivad muuta funktsiooni, meeskonna, toote või projekti järgi kasutamise lihtsamaks. OpenAI kasutusaruandlus toetab ka üksikasjalikku analüüsi selliste väljade kaudu nagu projekti ID, kasutaja ID, API võtme ID, mudel, partii ja teenuse tase.

Soovitus: kasutage ühe üldise piirangu asemel kihilisi piiranguid.

• Võtme piirang: takistab ühe mandaadiga kogu eelarvet kulutamast.
• Tiimide piirang: hoiab osakonna kasutuse nähtavana ja vastutustundlikuna.
• Üürniku piirang: isoleerib klientide kasutuse SaaS-i ja agentuuri stsenaariumides.
• Igapäevase kõrvalekalde lävi: käivitab hoiatused, kui kasutus erineb tavapärastest mustritest.
• Ülemaailmne hädaseiskamine: võimaldab kiiret peatamist, kui kuritarvitamine on aktiivne.

Kõrvad piirangud on kasulikud, kuid võivad katkestada seaduslikud pakktööd. Ohutum tootmismuster on juhtelementide jada:

1. Hoiatus 50 protsendi kohta eeldatavast päevasest kulust.
2. Kasutage 80 protsenti.
3. Lähendage mittekriitilist liiklust 100 protsenti.
4. Enne globaalse sulgemise kasutamist blokeerige ainult rikkuv võti, rentnik või marsruut.

Tõrjutus: ranged eelarved vähendavad arveldusriski, kuid võivad tekitada saadavuse riski. Tasemepiirangud töökoormuse järgi: interaktiivne tootmisliiklus, klientidele suunatud tasuline liiklus, taustatööd, katsed ja arendaja liivakastid ei tohiks kõik ühtmoodi ebaõnnestuda.

Kasutuse jälgimine võtme ja loogilise osaleja järgi

Võti identifitseerib mandaadi. See ei pruugi tuvastada tegelikku kasutajat, rentnikku, funktsiooni või töövoogu, mis päringu põhjustas. Kasuliku tehisintellekti kasutamise analüüsi saamiseks logige nii tehnilised kui ka ärimõõtmed.

Soovitus: koguge iga taotluse jaoks järgmised väljad, kui privaatsus ja eeskirjad seda võimaldavad.

• Taotle ID-d ja ajatemplit.
• API võtme ID või virtuaalse võtme ID.
• Rakenduse, meeskonna, rentniku, kasutaja või töövoo identifikaator.
• Pakkuja, mudel, marsruut ja teenusetasand.
• Viip- ja lõpetamislubade arv või samaväärsed kasutusühikud.
• Hinnanguline kulu.
• Laitentsus, olekukood, korduskatsete arv ja veaklass.

Ärge muutke kulude jälgitavust tarbetuks andmete kogumiseks. Vältige vaikimisi täielike viipade salvestamist, kui need võivad sisaldada isikuandmeid, kliendisaladusi või reguleeritud sisu. Paljudel juhtudel piisab tagasimaksete ja kõrvalekallete tuvastamiseks räsistatud kasutaja-ID-dest, rentnike ID-dest, lubade arvust ja mudelinimedest.

Pööramine ilma seisakuta: ohutu töövoog

Fakt: NIST-i võtmehaldusjuhistes käsitletakse võtmehaldust elutsükli distsipliinina, mis hõlmab genereerimist, salvestamist, aktiveerimist, pööramist, peatamist, tühistamist ja hävitamist. LLM API võtmete puhul ei ole pööramine ühekordne turvatöö; see on operatiivne töövoog.

Soovitus: kasutage seda ilma seisakuta rotatsiooniprotsessi:

1. Looge asendusvõti. Sobitage nõutavad load, eelarve, marsruut ja metaandmed. Ärge tühistage veel vana võtit.
2. Salvestage see salahaldurisse. Vältige kohalikke faile, vestlussõnumeid, pileteid ja kleebitud keskkonnamuutujaid.
3. Käivita konfiguratsioon järk-järgult. Värskendage korraga ühte teenust, piirkonda, töötajate rühma või rentniku segmenti.
4. Kinnitage liiklust. Veenduge, et taotlused saabuvad uue võtmega ning et veamäär ja latentsus jäävad normaalseks.
5. Külmutage kirjutamine vanale võtmele. Peatage uute juurutuste puhul sellele viitamine.
6. Tühistage vana võti. Kui liiklus on kolinud, keelake see, mitte ei jätke see unustatud tagavaraks.
7. Audi kõrvalejääjaid. Otsige vana võtme ID logisid, juurutamise manifeste, salajasi salvestusi, CI muutujaid ja käitusvigu.

Rakenduste puhul, mis kasutavad endiselt staatilisi keskkonnamuutujaid, on pööramine habras. Liikuge dünaamilise salajase laadimise, tsentraliseeritud konfiguratsiooni või lüüsi hallatavate virtuaalsete võtmete poole. Vähemalt dokumenteerige, millist juurutust tuleb enne tühistamist muuta.

Lekkereaktsiooni käsiraamat

Kui võti lekib, on kiirus oluline. Vastus tuleks kirjutada enne juhtumit, mitte arvelduspaanikas improviseeritud.

Kohe ohjeldamine

1. Tühistage või peatage paljastatud võti.
2. Kui tühistamine katkestaks tootmise, väljastage esmalt asendus ja lülitage kriitilise tähtsusega liiklus kohe ümber.
3. Blokeerige marsruut, rentnik või teenusepakkuja, kui kuritarvitamine on endiselt aktiivne.
4. Säilitage väärkasutuse tuvastamiseks vajalikud logid.

Uurimine

1. Tuvastage, kus võti ilmus: hoidla, kasutajaliidese komplekt, mobiilirakendus, logifail, tugipilet, teenusepakkuja tööriist või vestlus.
2. Leidke viimane teadaolev seaduslik kasutus.
3. Võrdlege kasutamist enne ja pärast kahtlustatavat kokkupuudet.
4. Vaadake üle kasutatud mudelid, taotlege mahtu, maksumust, geograafiat, kui see on saadaval, ja ebatavalisi olekukoode.
5. Kontrollige, kas sõltuvad saladused või külgnevad süsteemid võivad samuti paljastada.

Taastamine ja ennetamine

1. Pöörake sõltuvaid mandaate, kui sama keskkond võib olla lekkinud rohkem kui ühe saladuse.
2. Teatage vajaduse korral omanike tiimi ja mõjutatud klientide sidusrühmi.
3. Lisage hoidlatesse ja CI torujuhtmetesse salajane skannimine.
4. Vältida kordumist, liigutades kliendipoolsed kõned taustaprogrammi või lüüsi taha.
5. Dokumenteerige juhtumite ajaskaala, algpõhjus, mõju kuludele ja kontrolli täiustused.

Prognoos: kuna meeskonnad ühendavad LLM-idega rohkem agente, pistikprogramme, automatiseerimistööriistu ja kliendispetsiifilisi töövooge, näevad olulised lekked üha enam esmalt välja kulujuhtumitena ja seejärel turvaintsidentidena. Võtmepõhise omistamise ja eelarve juhtelementidega meeskonnad lahendavad need kiiremini kui üht jagatud mandaati kasutavad meeskonnad.

Lüüsiga hallatavad võtmed mitme teenusepakkuja meeskondadele

Kui teie organisatsioon kasutab mitut LLM-i pakkujat, võivad otsepakkuja võtmed luua hajutatud juhtimist: erinevad armatuurlauad, erinevad arveldusvaated, erinevad lubade mudelid ja ebajärjekindlad rotatsiooniprotsessid.

Lüüsi hallatav võtmekiht võib seda lihtsustada, väljastades rakendusele suunatud võtmed, hoides samal ajal varjatud teenusepakkuja mandaadid. Rakendused kutsuvad OpenAI-ga ühilduva API lõpp-punkti, samas kui lüüs tegeleb marsruutimise, kasutusanalüütika, arvelduse omistamise ja eeskirjade jõustamisega.

Soovitus: kaaluge lüüsi või puhverserveri kihti, kui vajate:

• Üks koht mitme teenusepakkuja meeskonnavõtmete haldamiseks.
• Ühtne AI API arveldus ja võtmepõhine kuluaruanne.
• Klienditaseme virtuaalsed võtmed agentuuridele, edasimüüjatele või SaaS-i rentnikele.
• Keskmudeli lubatud loendid, marsruudireeglid ja hädaolukorra peatamine.
• Kasutuse omistamine rentniku, funktsiooni, töövoo või partnerkliendi järgi.

Tõrjutus: lüüs parandab juhtimist ja peidab ülesvoolu mandaadid, kuid sellest saab osa päringu teest. Jälgige seda nagu tootmisinfrastruktuuri: olulised on latentsusaeg, saadavus, veamäär, järjekorda seadmine, uuesti proovimise käitumine ja teenusepakkujapõhised tõrked.

Rakendamise kontroll-loend

• Asendage kogu organisatsiooni hõlmavad jagatud võtmed võtmetega, mille ulatus on rakenduse, keskkonna, rentniku või töövoo järgi.
• Eemaldage brauserite, mobiilirakenduste, töölaualaiendite ja avalike skriptide pakkuja võtmed.
• Klientide päringud suunatakse läbi taustaprogrammi või AI API lüüsi.
• Kinnitage igale võtmele omanik, eesmärk, keskkond, lubatud mudelid, eelarve ja vaadake üle metaandmed.
• Rakendage minimaalseid õigusi: projekt, lõpp-punkt, mudel, marsruut, määr ja eelarve juhtelemendid, kui need on saadaval.
• Määrake võtme-, meeskonna-, rentniku- ja globaalsed kululimiidid.
• Logivõtme ID, loogiline toimija, mudel, loa kasutamine, hinnanguline kulu, latentsusaeg ja olekukood.
• Looge seisakuta rotatsiooni töövoog ja testige seda enne hädaolukorda.
• Kirjutage lekkereaktsiooni käsiraamat koos ohjeldamise, uurimise ja ennetamise sammudega.
• Vaadake passiivsed võtmed üle ja tühistage kõik, mida pole omanik või hiljuti seaduslikult kasutatud.

Tehtitav järeldus

Alustage kõrgeima riskiga võtmega: see, mida kasutatakse tootmises, mida jagavad mitu inimest, mis on manustatud liiga paljudesse kohtadesse või vastutab suurima kulutuse eest. Andke sellele omanik, jagage see piiride järgi, lisage eelarve, teisaldage see taustaprogrammi või lüüsi taha, kui kliendid seda näevad, ja dokumenteerige, kuidas seda pöörata.

Seejärel korrake. Tugev LLM API võtmehaldus ei ole üksainus salajase salvestamise otsus. See on elutsükkel: laoseisud, isolatsioon, vähimad privileegid, kasutuse omistamine, kulude juhtimine, rotatsioon ja lekkereaktsioon. Tasumine on lihtne: kui midagi läheb valesti, peaks ohus olema ainult üks rakendus, rentnik või töövoog, mitte kogu tehisintellekti eelarve.

Seotud lugemine

• varasemad Model Gate'i ajaveebi märkmed
• Sissejuhatav Model Gate'i artikkel