Διαχείριση κλειδιών LLM API για ομάδες: απομόνωση, περιστροφή, όρια δαπανών και απόκριση διαρροής

Ένα κοινόχρηστο κλειδί API LLM είναι βολικό μέχρι την πρώτη διαρροή, ανεξήγητο λογαριασμό ή διακοπή παραγωγής. Ο πρακτικός στόχος της Διαχείρισης κλειδιών API δεν είναι μόνο να κρατήσει μυστικό τα διαπιστευτήρια. Είναι ο περιορισμός της ακτίνας έκρηξης, η χρήση χαρακτηριστικών, η ασφαλής περιστροφή, ο εντοπισμός μη φυσιολογικών δαπανών και η ανάκληση της πρόσβασης χωρίς να παραβιάζονται άσχετες εφαρμογές.

Αυτός ο οδηγός δίνει στις ομάδες ένα μοντέλο λειτουργίας για κλειδιά API LLM σε παρόχους, πύλες, εσωτερικές εφαρμογές, εταιρείες και προϊόντα που απευθύνονται σε πελάτες. Διαχωρίζει τα επαληθευμένα στοιχεία ασφαλείας από τις προτεινόμενες επιλογές υλοποίησης και αποφεύγει την υπόθεση ότι κάθε πάροχος εκθέτει τους ίδιους ελέγχους.

Το μοντέλο λειτουργίας: κάθε κλειδί χρειάζεται ένα όριο

Μια χρήσιμη στρατηγική κλειδιού ξεκινά με μία ερώτηση: τι θα πρέπει να αποτύχει σε περίπτωση κατάχρησης ή ανάκλησης αυτού του κλειδιού; Εάν η απάντηση είναι "όλη η εταιρεία", το κλειδί είναι πολύ ευρύ.

Γεγονός: Η καθοδήγηση ασφαλείας κλειδιού API του OpenAI συνιστά σε κάθε μέλος της ομάδας να χρησιμοποιεί ένα μοναδικό κλειδί API, λέει ότι η κοινή χρήση κλειδιών είναι αντίθετη με τους Όρους Χρήσης και συνιστά την εκχώρηση αδειών σε μεμονωμένα κλειδιά όπου υποστηρίζονται. Η καθοδήγηση του OpenAI συμβουλεύει επίσης να μην αναπτύξετε κλειδιά API σε περιβάλλοντα πελάτη, όπως προγράμματα περιήγησης ή εφαρμογές για κινητά, επειδή τα εκτεθειμένα κλειδιά μπορούν να χρησιμοποιηθούν κατάχρηση για την υποβολή αιτημάτων για λογαριασμό του κατόχου.

Σύσταση: δημιουργήστε κλειδιά γύρω από τα λειτουργικά όρια, όχι γύρω από την ευκολία. Τα κοινά όρια περιλαμβάνουν:

• Περιβάλλον: παραγωγή, σκηνοθεσία, ανάπτυξη, sandbox.
• Εφαρμογή: chatbot backend, επεξεργαστής εγγράφων, βοηθός κωδικοποίησης, ροή εργασιών αναλυτικών στοιχείων.
• Ιδιοκτήτης: ομάδα, λογαριασμός υπηρεσίας, προγραμματιστής, πελάτης εταιρείας, μισθωτής.
• Επίπεδο κινδύνου: δημόσια ροή εργασίας, εσωτερικός αυτοματισμός, ομαδική εργασία, πειραματική ενσωμάτωση.
• Πάροχος ή διαδρομή: ανάντη πάροχος Α, πάροχος Β, εγκεκριμένη ομάδα μοντέλων ή διαδρομή πύλης.

Μια καλή προεπιλογή για μια αναπτυσσόμενη ομάδα είναι: ένα κλειδί παραγωγής ανά εφαρμογή ή υπηρεσία, ένα κλειδί μη παραγωγής ανά περιβάλλον και ξεχωριστά κλειδιά για αυτοματισμό υψηλού κινδύνου ή χρήση σε επίπεδο πελάτη. Οι αντιπροσωπείες και οι μεταπωλητές θα πρέπει να προτιμούν εικονικά κλειδιά σε επίπεδο πελάτη αντί να μοιράζονται διαπιστευτήρια παρόχου ανάντη.

Μην τοποθετείτε ποτέ κλειδιά παρόχου σε κατανεμημένους πελάτες

Τα προγράμματα περιήγησης, οι εφαρμογές για κινητά, οι επεκτάσεις για υπολογιστές, οι δημόσιες προσθήκες και τα σενάρια από την πλευρά του πελάτη είναι εχθρικά μέρη για τα ακατέργαστα διαπιστευτήρια παρόχου. Ακόμα κι αν θολώσετε το κλειδί, το διανεμημένο λογισμικό μπορεί να επιθεωρηθεί, να αντιγραφεί ή να υποκλαπεί.

Γεγονός: Το OpenAI προειδοποιεί ρητά να μην αναπτύσσονται κλειδιά API σε περιβάλλοντα από την πλευρά του πελάτη. Η έρευνα για εφαρμογές για κινητές συσκευές ανέφερε επίσης επίμονη διαρροή διαπιστευτηρίων LLM API σε εφαρμογές iOS, υποστηρίζοντας την ίδια πρακτική προειδοποίηση: τα διαπιστευτήρια που είναι ενσωματωμένα σε κατανεμημένους πελάτες τείνουν να διαφεύγουν.

Σύσταση: χρησιμοποιήστε ένα μοτίβο υποστήριξης ή πύλης:

1. Ο πελάτης ελέγχει την ταυτότητα στην εφαρμογή σας χρησιμοποιώντας μια περίοδο λειτουργίας χρήστη, JWT, διακριτικό πελάτη ή βραχύβια διαπιστευτήρια.
2. Το backend σας επικυρώνει τον χρήστη, τον μισθωτή, το σχέδιο και τη λειτουργία που ζητήθηκε.
3. Το backend σας ή η πύλη API AI καλεί τον πάροχο LLM upstream χρησιμοποιώντας προστατευμένα διαπιστευτήρια διακομιστή.
4. Η απάντηση επιστρέφεται στον πελάτη μετά από ελέγχους πολιτικής, καταγραφή και καταγραφή κόστους.

Αυτή η σχεδίαση σάς επιτρέπει να επιβάλλετε κανόνες προϊόντος πριν πραγματοποιηθούν δαπάνες. Για παράδειγμα, ένας χρήστης δωρεάν προγράμματος μπορεί να περιοριστεί σε μικρότερα μοντέλα, ένας επί πληρωμή μισθωτής μπορεί να λάβει υψηλότερα ημερήσια ποσοστά και μια εσωτερική ροή εργασίας διαχειριστή μπορεί να χρησιμοποιήσει μια ξεχωριστή διαδρομή με αυστηρότερη παρακολούθηση.

Δημιουργήστε ένα βασικό απόθεμα προτού χρειαστείτε μια απάντηση περιστατικού

Οι ομάδες συχνά ανακαλύπτουν κατά τη διάρκεια μιας διαρροής ότι κανείς δεν γνωρίζει σε ποια υπηρεσία ανήκει το εκτεθειμένο κλειδί. Πρόκειται για αποτυχία αποθέματος.

Γεγονός: Το OWASP API Security Top 10 2023 περιλαμβάνει ακατάλληλη διαχείριση αποθέματος ως σημαντικό κίνδυνο για την ασφάλεια του API. Για την υποδομή LLM, το απόθεμα κλειδιών αποτελεί μέρος του αποθέματος API: πρέπει να γνωρίζετε ποια διαπιστευτήρια υπάρχουν, σε τι μπορούν να έχουν πρόσβαση και σε ποιον ανήκουν.

Σύσταση: κάθε κλειδί πρέπει να έχει μεταδεδομένα. Τουλάχιστον, παρακολουθήστε:

• Όνομα κλειδιού και εσωτερικό αναγνωριστικό κλειδιού.
• Επικοινωνία με ομάδα ιδιοκτήτη και έκτακτη ανάγκη.
• Περιβάλλον: παραγωγή, σκηνοθεσία, ανάπτυξη, sandbox.
• Σκοπός: εφαρμογή, ροή εργασιών, μισθωτής, ενοποίηση ή χρήση προγραμματιστή.
• Επιτρέπονται πάροχοι, μοντέλα, τελικά σημεία ή διαδρομές όπου υποστηρίζονται.
• Ημερομηνία δημιουργίας, χρονική σήμανση τελευταίας χρήσης και προγραμματισμένη ημερομηνία ελέγχου.
• Ανώτατο όριο δαπανών ή όριο.
• Κατάσταση εναλλαγής και διαμόρφωση συνδεδεμένης ανάπτυξης.

Χρησιμοποιήστε μια σύμβαση ονομασίας που παραμένει αναγνώσιμη στις ειδοποιήσεις. Για παράδειγμα:

prod-supportbot-teamcx-gpt4class-2026q3stg-docprocessor-platform-lowcost-2026q3
tenant-acme-prod-standard-2026q3
dev-jlee-sandbox-2026q3

Η ακριβής μορφή είναι λιγότερο σημαντική από τη συνέπεια. Ο στόχος είναι μια ειδοποίηση να μπορεί να λέει ότι το "tenant-acme-prod-standard ξεπέρασε το ημερήσιο όριο" και ο υπεύθυνος ιδιοκτήτης ξέρει τι να κάνει.

Εφαρμόστε το ελάχιστο προνόμιο όπου το επιτρέπει η πλατφόρμα

Δεν εκθέτουν κάθε πάροχος ή πύλη πανομοιότυπα στοιχεία ελέγχου αδειών, αλλά η αρχή είναι συνεπής: ένα κλειδί θα πρέπει να μπορεί να κάνει μόνο αυτό που χρειάζεται ο φόρτος εργασίας του.

Σύσταση: περιορίστε τα κλειδιά με ένα ή περισσότερα από τα ακόλουθα στοιχεία ελέγχου όπου υποστηρίζονται:

• Έργο: συνδέστε κλειδιά σε ένα έργο και όχι σε έναν ολόκληρο οργανισμό.
• Μοντέλο: επιτρέπονται μόνο εγκεκριμένα μοντέλα. αποκλεισμός ακριβών ή πειραματικών μοντέλων από προεπιλογή.
• Τελικό σημείο: επιτρέπονται οι ολοκληρώσεις συνομιλίας, αλλά απορρίπτονται άσχετα διαχειριστικά τελικά σημεία.
• Διαδρομή παρόχου: επιτρέψτε μια διαδρομή πύλης αντί για άμεση πρόσβαση σε κάθε πάροχο ανάντη.
• Τιμή: ανώτατα αιτήματα ανά λεπτό ή ταυτόχρονα αιτήματα.
• Προϋπολογισμός: επιβολή ορίων δαπανών ανά κλειδί, ανά ομάδα ή ανά ενοικιαστή.

Για παράδειγμα, ένα κλειδί σταδιοποίησης συνήθως δεν χρειάζεται πρόσβαση στο πιο ακριβό μοντέλο παραγωγής. Ένας εργαζόμενος στην ταξινόμηση εγγράφων πιθανότατα δεν χρειάζεται πρόσβαση στη δημιουργία εικόνων. Ένα κλειδί ενοικιαστή που απευθύνεται στον πελάτη δεν θα πρέπει να μπορεί να καταναλώσει τον προϋπολογισμό άλλου ενοικιαστή.

Σχεδιάστε τα στοιχεία ελέγχου δαπανών σε επίπεδα

Η ασφάλεια του LLM API και ο έλεγχος κόστους επικαλύπτονται. Ένα κλειδί που έχει διαρρεύσει συχνά εντοπίζεται ως ανωμαλία χρέωσης προτού εντοπιστεί ως συμβάν ασφαλείας.

Γεγονός: Η καθοδήγηση για την ασφάλεια λογαριασμού OpenAI συνιστά εύλογα όρια δαπανών και σημειώνει ότι τα ξεχωριστά κλειδιά API μπορούν να κάνουν τη χρήση πιο εύκολη στην προβολή ανά χαρακτηριστικό, ομάδα, προϊόν ή έργο. Η αναφορά χρήσης του OpenAI υποστηρίζει επίσης λεπτομερή ανάλυση μέσω πεδίων όπως το αναγνωριστικό έργου, το αναγνωριστικό χρήστη, το αναγνωριστικό κλειδιού API, το μοντέλο, η παρτίδα και το επίπεδο υπηρεσίας.

Σύσταση: χρησιμοποιήστε όρια σε επίπεδα αντί για ένα καθολικό όριο:

• Όριο ανά κλειδί: εμποδίζει ένα διαπιστευτήριο να εξαντλήσει ολόκληρο τον προϋπολογισμό.
• Όριο ανά ομάδα: διατηρεί ορατή και υπεύθυνη τη χρήση του τμήματος.
• Όριο ανά μισθωτή: απομονώνει τη χρήση πελατών σε σενάρια SaaS και πρακτορείου.
• Ημερήσιο όριο ανωμαλίας: ενεργοποιεί ειδοποιήσεις όταν η χρήση αποκλίνει από τα κανονικά μοτίβα.
• Παγκόσμια στάση έκτακτης ανάγκης: επιτρέπει τη γρήγορη αναστολή όταν είναι ενεργή η κατάχρηση.

Τα σκληρά όρια είναι χρήσιμα, αλλά μπορούν να διακόψουν τις νόμιμες ομαδικές εργασίες. Ένα ασφαλέστερο μοτίβο παραγωγής είναι μια ακολουθία ελέγχων:

1. Ειδοποίηση στο 50 τοις εκατό της αναμενόμενης ημερήσιας δαπάνης.
2. Κλιμάκωση στο 80 τοις εκατό.
3. Μειώστε τη μη κρίσιμη κυκλοφορία στο 100 τοις εκατό.
4. Αποκλείστε μόνο το παραβατικό κλειδί, τον μισθωτή ή τη διαδρομή πριν χρησιμοποιήσετε τον καθολικό τερματισμό λειτουργίας.

Εναλλαγή: οι αυστηροί προϋπολογισμοί μειώνουν τον κίνδυνο χρέωσης, αλλά μπορούν να δημιουργήσουν κίνδυνο διαθεσιμότητας. Όρια βαθμίδων ανά φόρτο εργασίας: η διαδραστική επισκεψιμότητα παραγωγής, η πληρωμένη επισκεψιμότητα που απευθύνεται σε πελάτες, οι εργασίες στο παρασκήνιο, τα πειράματα και τα περιβάλλοντα δοκιμών για προγραμματιστές δεν θα πρέπει να αποτυγχάνουν όλα με τον ίδιο τρόπο.

Παρακολούθηση χρήσης ανά βασικό και λογικό παράγοντα

Ένα κλειδί προσδιορίζει το διαπιστευτήριο. Ενδέχεται να μην προσδιορίζει τον πραγματικό χρήστη, μισθωτή, δυνατότητα ή ροή εργασίας που προκάλεσε το αίτημα. Για χρήσιμα αναλυτικά στοιχεία χρήσης AI, καταγράψτε τόσο τις τεχνικές όσο και τις επιχειρηματικές διαστάσεις.

Σύσταση: συγκεντρώστε τα ακόλουθα πεδία για κάθε αίτημα όπου το απόρρητο και η πολιτική επιτρέπουν:

• Αίτημα ID και χρονική σήμανση.
• Αναγνωριστικό κλειδιού API ή αναγνωριστικό εικονικού κλειδιού.
• Αναγνωριστικό εφαρμογής, ομάδας, μισθωτή, χρήστη ή ροής εργασίας.
• Παροχέας, μοντέλο, διαδρομή και επίπεδο υπηρεσίας.
• Αριθμοί κουπονιών προτροπής και ολοκλήρωσης ή ισοδύναμες μονάδες χρήσης.
• Εκτιμώμενο κόστος.
• Καθυστέρηση, κωδικός κατάστασης, πλήθος επανάληψης και κατηγορία σφαλμάτων.

Μην μετατρέπετε την παρατηρησιμότητα κόστους σε περιττή συλλογή δεδομένων. Αποφύγετε την αποθήκευση πλήρων μηνυμάτων από προεπιλογή, εάν μπορεί να περιέχουν προσωπικά δεδομένα, μυστικά πελατών ή ελεγχόμενο περιεχόμενο. Σε πολλές περιπτώσεις, τα κατακερματισμένα αναγνωριστικά χρήστη, τα αναγνωριστικά ενοικιαστών, οι μετρήσεις διακριτικών και τα ονόματα μοντέλων είναι αρκετά για αντιστροφή χρέωσης και εντοπισμό ανωμαλιών.

Εναλλαγή χωρίς χρόνο διακοπής λειτουργίας: μια ασφαλής ροή εργασίας

Γεγονός: Η καθοδήγηση διαχείρισης κλειδιών του NIST αντιμετωπίζει τη διαχείριση κλειδιών ως πειθαρχία του κύκλου ζωής, συμπεριλαμβανομένης της παραγωγής, της αποθήκευσης, της ενεργοποίησης, της περιστροφής, της αναστολής, της ανάκλησης και της καταστροφής. Για τα κλειδιά API LLM, η εναλλαγή δεν είναι εφάπαξ αγγαρεία ασφαλείας. είναι μια λειτουργική ροή εργασίας.

Σύσταση: χρησιμοποιήστε αυτήν τη διαδικασία εναλλαγής χωρίς διακοπές:

1. Δημιουργήστε το κλειδί αντικατάστασης. Αντιστοιχίστε τα απαιτούμενα δικαιώματα, τον προϋπολογισμό, τη διαδρομή και τα μεταδεδομένα. Μην ανακαλέσετε ακόμα το παλιό κλειδί.
2. Αποθηκεύστε το στον διαχειριστή μυστικών. Αποφύγετε τοπικά αρχεία, μηνύματα συνομιλίας, εισιτήρια και επικολλημένες μεταβλητές περιβάλλοντος.
3. Αναπτύξτε τη διαμόρφωση σταδιακά. Ενημερώστε μία υπηρεσία, περιοχή, ομάδα εργαζομένων ή τμήμα μισθωτή κάθε φορά.
4. Επαληθεύστε την κίνηση της κυκλοφορίας. Επιβεβαιώστε ότι τα αιτήματα φτάνουν με το νέο κλειδί και ότι τα ποσοστά σφαλμάτων και ο λανθάνοντας χρόνος παραμένουν κανονικά.
5. Freeze γράφει στο παλιό κλειδί. Σταματήστε τις νέες αναπτύξεις να το αναφέρουν.
6. Ανακλήστε το παλιό κλειδί. Αφού μετακινηθεί η κυκλοφορία, απενεργοποιήστε το αντί να το αφήσετε ως ξεχασμένο εναλλακτικό.
7. Ελέγχου. Αρχεία καταγραφής αναζήτησης, δηλώσεις ανάπτυξης, μυστικές αποθήκες, μεταβλητές CI και σφάλματα χρόνου εκτέλεσης για το παλιό αναγνωριστικό κλειδιού.

Για εφαρμογές που εξακολουθούν να χρησιμοποιούν στατικές μεταβλητές περιβάλλοντος, η εναλλαγή θα είναι εύθραυστη. Μεταβείτε προς τη δυναμική φόρτωση μυστικών, την κεντρική διαμόρφωση ή τα εικονικά κλειδιά που διαχειρίζονται πύλη. Τουλάχιστον, τεκμηριώστε ποια ανάπτυξη πρέπει να αλλάξει πριν από την ανάκληση.

Διαρροή απόκρισης

Όταν υπάρχει διαρροή ενός κλειδιού, η ταχύτητα έχει σημασία. Η απάντηση θα πρέπει να γράφεται πριν από το συμβάν, όχι να αυτοσχεδιάζεται σε έναν πανικό χρέωσης.

Άμεση συγκράτηση

1. Ανάκληση ή αναστολή του εκτεθειμένου κλειδιού.
2. Εάν η ανάκληση θα διακόψει την παραγωγή, εκδώστε πρώτα μια αντικατάσταση και αλλάξτε αμέσως την κρίσιμη κυκλοφορία.
3. Αποκλείστε τη διαδρομή, τον μισθωτή ή τον πάροχο εάν η κατάχρηση εξακολουθεί να είναι ενεργή.
4. Διατηρήστε τα αρχεία καταγραφής που απαιτούνται για τον εντοπισμό κακής χρήσης.

Έρευνα

1. Προσδιορίστε πού εμφανίστηκε το κλειδί: αποθετήριο, πακέτο διεπαφής, εφαρμογή για κινητά, αρχείο καταγραφής, εισιτήριο υποστήριξης, εργαλείο προμηθευτή ή συνομιλία.
2. Βρείτε την τελευταία γνωστή νόμιμη χρήση.
3. Συγκρίνετε τη χρήση πριν και μετά την ύποπτη έκθεση.
4. Ελέγξτε τα μοντέλα που χρησιμοποιούνται, τον όγκο των αιτημάτων, το κόστος, τη γεωγραφία εάν υπάρχουν και τους ασυνήθιστους κωδικούς κατάστασης.
5. Ελέγξτε εάν ενδέχεται να αποκαλυφθούν εξαρτημένα μυστικά ή παρακείμενα συστήματα.

Ανάκτηση και πρόληψη

1. Εναλλαγή εξαρτημένων διαπιστευτηρίων εάν το ίδιο περιβάλλον μπορεί να έχει διαρρεύσει περισσότερα από ένα μυστικά.
2. Ειδοποιήστε την ομάδα κατόχου και τους επηρεαζόμενους ενδιαφερόμενους πελάτες, όταν χρειάζεται.
3. Προσθέστε μυστική σάρωση σε αποθετήρια και αγωγούς CI.
4. Αποτρέψτε την επανάληψη μετακινώντας τις κλήσεις από την πλευρά του πελάτη πίσω από ένα backend ή μια πύλη.
5. Τεκμηριώστε το χρονοδιάγραμμα του συμβάντος, τη βασική αιτία, τον αντίκτυπο στο κόστος και τις βελτιώσεις ελέγχου.

Πρόβλεψη: καθώς οι ομάδες συνδέουν περισσότερους πράκτορες, πρόσθετα, εργαλεία αυτοματισμού και ροές εργασίας για συγκεκριμένους πελάτες με LLM, οι διαρροές κλειδιών θα μοιάζουν όλο και περισσότερο με περιστατικά κόστους πρώτα και με συμβάντα ασφάλειας μετά. Οι ομάδες με απόδοση ανά κλειδί και ελέγχους προϋπολογισμού θα τα επιλύσουν πιο γρήγορα από τις ομάδες που χρησιμοποιούν ένα κοινό διαπιστευτήριο.

Κλειδιά διαχείρισης πύλης για ομάδες πολλών παρόχων

Εάν ο οργανισμός σας χρησιμοποιεί πολλούς παρόχους LLM, τα κλειδιά άμεσης παροχής μπορούν να δημιουργήσουν διάσπαρτη διακυβέρνηση: διαφορετικούς πίνακες εργαλείων, διαφορετικές προβολές χρέωσης, διαφορετικά μοντέλα αδειών και ασυνεπείς διαδικασίες εναλλαγής.

Ένα επίπεδο κλειδιού που διαχειρίζεται πύλη μπορεί να το απλοποιήσει, εκδίδοντας κλειδιά που βρίσκονται στην εφαρμογή, διατηρώντας ταυτόχρονα κρυφά τα διαπιστευτήρια παρόχου ανάντη. Οι εφαρμογές καλούν ένα τελικό σημείο API συμβατό με OpenAI, ενώ η πύλη χειρίζεται τη δρομολόγηση, τα αναλυτικά στοιχεία χρήσης, την απόδοση χρέωσης και την επιβολή πολιτικής.

Σύσταση: σκεφτείτε ένα επίπεδο πύλης ή διακομιστή μεσολάβησης όταν χρειάζεστε:

• Ένα μέρος για τη διαχείριση των κλειδιών ομάδας σε πολλούς παρόχους.
• Ενοποιημένη χρέωση API AI και αναφορά δαπανών ανά κλειδί.
• Εικονικά κλειδιά σε επίπεδο πελάτη για εταιρείες, μεταπωλητές ή ενοικιαστές SaaS.
• Λίστες επιτρεπόμενων κεντρικών μοντέλων, πολιτικές διαδρομής και αναστολή έκτακτης ανάγκης.
• Απόδοση χρήσης από μισθωτή, δυνατότητα, ροή εργασίας ή πελάτη συνεργάτη.

Εναλλαγή: μια πύλη βελτιώνει τη διακυβέρνηση και αποκρύπτει τα διαπιστευτήρια ανάντη, αλλά γίνεται μέρος της διαδρομής αιτήματος. Παρακολουθήστε το όπως η υποδομή παραγωγής: ο λανθάνοντας χρόνος, η διαθεσιμότητα, τα ποσοστά σφαλμάτων, η ουρά, η συμπεριφορά επανάληψης δοκιμής και οι αποτυχίες του συγκεκριμένου παρόχου έχουν σημασία.

Λίστα ελέγχου εφαρμογής

• Αντικαταστήστε τα κοινόχρηστα κλειδιά σε ολόκληρο τον οργανισμό με κλειδιά που καλύπτονται από την εφαρμογή, το περιβάλλον, τον μισθωτή ή τη ροή εργασίας.
• Καταργήστε τα μη επεξεργασμένα κλειδιά παρόχου από προγράμματα περιήγησης, εφαρμογές για κινητά, επεκτάσεις επιτραπέζιου υπολογιστή και δημόσια σενάρια.
• Δρομολογήστε αιτήματα πελατών μέσω μιας πύλης υποστήριξης ή AI API.
• Συνδέστε κάτοχο, σκοπό, περιβάλλον, επιτρεπόμενα μοντέλα, προϋπολογισμό και αναθεωρήστε μεταδεδομένα σε κάθε κλειδί.
• Εφαρμόστε τα ελάχιστα προνόμια: Έργο, τελικό σημείο, μοντέλο, διαδρομή, τιμή και έλεγχοι προϋπολογισμού όπου είναι διαθέσιμα.
• Ορίστε όρια δαπανών ανά κλειδί, ανά ομάδα, ανά μισθωτή και συνολικά.
• Αναγνωριστικό κλειδιού καταγραφής, λογικός παράγοντας, μοντέλο, χρήση διακριτικού, εκτιμώμενο κόστος, καθυστέρηση και κωδικός κατάστασης.
• Δημιουργήστε μια ροή εργασίας εναλλαγής χωρίς διακοπές και δοκιμάστε την πριν από μια έκτακτη ανάγκη.
• Γράψτε ένα runbook αντιμετώπισης διαρροών με βήματα περιορισμού, έρευνας και πρόληψης.
• Ελέγξτε τα ανενεργά κλειδιά και ανακαλέστε οτιδήποτε χωρίς κάτοχο ή πρόσφατη νόμιμη χρήση.

Εκκίνητο συμπέρασμα

Ξεκινήστε με το κλειδί υψηλότερου κινδύνου: αυτό που χρησιμοποιείται στην παραγωγή, κοινόχρηστο από πολλά άτομα, ενσωματωμένο σε πάρα πολλά μέρη ή υπεύθυνο για τη μεγαλύτερη δαπάνη. Δώστε του έναν κάτοχο, χωρίστε τον κατά όριο, προσθέστε έναν προϋπολογισμό, μετακινήστε τον πίσω από ένα backend ή πύλη, εάν οι πελάτες μπορούν να το δουν και τεκμηριώστε τον τρόπο περιστροφής του.

Στη συνέχεια επαναλάβετε. Η ισχυρή διαχείριση κλειδιών API LLM δεν είναι μια ενιαία απόφαση αποθήκευσης μυστικών. Είναι ένας κύκλος ζωής: απόθεμα, απομόνωση, μικρότερο προνόμιο, απόδοση χρήσης, έλεγχος κόστους, εναλλαγή και απόκριση διαρροής. Η ανταμοιβή είναι απλή: όταν κάτι πάει στραβά, μόνο μία εφαρμογή, μισθωτής ή ροή εργασίας θα πρέπει να κινδυνεύει—όχι ολόκληρος ο προϋπολογισμός της τεχνητής νοημοσύνης.

Σχετική ανάγνωση

• προηγούμενες σημειώσεις ιστολογίου Model Gate
• εισαγωγικό άρθρο στο Model Gate