Το Kong έκανε το Kong AI Gateway 2.0 γενικά διαθέσιμο, σηματοδοτώντας ένα ακόμη βήμα στη μετάβαση από τον απλό διακομιστή μεσολάβησης LLM προς ένα ευρύτερο επίπεδο ελέγχου για μοντέλα, πράκτορες, εργαλεία και δαπάνες τεχνητής νοημοσύνης.
Η έκδοση της 1ης Σεπτεμβρίου φέρνει πολλές λειτουργίες που έχουν σημασία για ομάδες που ήδη εκτελούν φόρτους εργασίας AI παραγωγής: δυναμική διαχείριση λογαριασμών με διακομιστές MCP, διαφορετικά εργαλεία διαχείρισης λογαριασμών ευρύτερη κάλυψη μοντέλων και παρόχων, πολιτικές τεχνητής νοημοσύνης με επίγνωση ταυτότητας και εγγενής έλεγχος ταυτότητας IAM για το Amazon Bedrock AgentCore. Ο Kong λέει επίσης ότι το προϊόν είναι πλέον διαθέσιμο στο Kong Konnect χωρίς ενεργοποίηση beta.
Αυτός ο συνδυασμός είναι η είδηση. Η κατηγορία πύλης AI δεν αφορά πλέον μόνο τη λήψη ενός αιτήματος τύπου OpenAI, την προώθηση του σε έναν πάροχο και την καταγραφή της απάντησης. Οι αγοραστές επιχειρήσεων θέλουν όλο και περισσότερο η πύλη να αποφασίζει ποιος μπορεί να καλέσει ποιο μοντέλο, ποια εργαλεία μπορεί να προσεγγίσει ένας πράκτορας, πώς θα πρέπει να μετρηθούν οι δαπάνες και πώς αυτές οι αποφάσεις αντιστοιχίζονται σε συστήματα ταυτότητας που χρησιμοποιούνται ήδη από την επιχείρηση.
Τι άλλαξε στο Kong AI Gateway 2.0
Η πιο αξιοσημείωτη προσθήκη είναι το MCP Server Bundling. Το MCP, ή Model Context Protocol, έχει γίνει ένας κοινός τρόπος έκθεσης εργαλείων και πόρων σε πράκτορες AI. Η ομαδοποίηση διακομιστών MCP στο επίπεδο πύλης δίνει στις ομάδες πλατφόρμας τη δυνατότητα να συγκεντρώνουν και να διοικούν αυτές τις συνδέσεις εργαλείων αντί να αφήνουν κάθε ομάδα εφαρμογής να καλωδιώσει και να αστυνομεύει τις δικές της ενσωματώσεις πρακτόρων.
Αυτή είναι μια ουσιαστική κατεύθυνση προϊόντος. Καθώς οι πράκτορες μετακινούνται από τις επιδείξεις σε εσωτερικές ροές εργασίας, ο κίνδυνος είναι μικρότερος για ένα μοντέλο που απαντά άσχημα σε μια ερώτηση και περισσότερο για ένα μοντέλο που συνδέεται με πάρα πολλά εργαλεία με πολύ μικρή επίβλεψη. Μια πύλη που μπορεί να συσκευάσει και να ελέγχει την πρόσβαση MCP βρίσκεται πιο κοντά στο λειτουργικό πρόβλημα: ποιοι πράκτορες μπορούν να φτάσουν σε ποια συστήματα, με ποια ταυτότητα και με ποια όρια πολιτικής.
Ο Κονγκ πρόσθεσε επίσης δυναμική διαχείριση κόστους με επίγνωση των τρόπων λειτουργίας. Αυτό έχει σημασία γιατί η τιμολόγηση της τεχνητής νοημοσύνης δεν είναι πλέον ένας ενιαίος μετρητής. Κείμενο, εικόνα, ήχος, βίντεο, κλήσεις εργαλείων, αποθηκευμένο περιβάλλον στην κρυφή μνήμη και τρόποι συλλογισμού μπορούν να έχουν διαφορετικά οικονομικά στοιχεία ανάλογα με τον πάροχο. Ένα επίπεδο ελέγχου κόστους που κατανοεί τη τροπικότητα μπορεί να δώσει στις ομάδες πιο ακριβή όρια και κανόνες δρομολόγησης από έναν γενικό μετρητή αιτημάτων.
Η έκδοση επεκτείνει επίσης την κάλυψη μοντέλων και παρόχων και προσθέτει πολιτικές τεχνητής νοημοσύνης με επίγνωση ταυτότητας. Ο εγγενής έλεγχος ταυτότητας IAM του Kong για το Amazon Bedrock AgentCore είναι ιδιαίτερα σημαντικός επειδή το Bedrock AgentCore γίνεται ένα από τα μέρη όπου οι επιχειρήσεις τρέχουν και διαχειρίζονται πράκτορες. Η σύνδεση της πολιτικής πύλης με την ταυτότητα cloud μειώνει το χάσμα μεταξύ των ελέγχων ειδικά για την τεχνητή νοημοσύνη και των συστημάτων πρόσβασης που ήδη ελέγχουν οι εταιρείες.
Γιατί αυτό έχει σημασία για προγραμματιστές και ομάδες πλατφόρμας
Για τους προγραμματιστές, το πρακτικό αποτέλεσμα είναι ότι η πύλη γίνεται μέρος της αρχιτεκτονικής εφαρμογών και όχι απλώς ένα πρόσθετο υποδομής. Μια ομάδα που δημιουργεί έναν εσωτερικό παράγοντα υποστήριξης, βοηθό κωδικοποίησης ή ροή εργασιών ανάλυσης δεδομένων μπορεί τώρα να χρειάζεται κανόνες πύλης για πρόσβαση μοντέλου, πρόσβαση εργαλείου, όρια προϋπολογισμού και διάδοση ταυτότητας προτού η εφαρμογή φτάσει στην παραγωγή.
Αυτό μπορεί να προσθέσει κάποιο κόστος εγκατάστασης, αλλά αντιμετωπίζει επίσης μια κατάσταση πραγματικής αποτυχίας. Χωρίς κοινόχρηστο επίπεδο πύλης, η επιλογή μοντέλου, τα διαπιστευτήρια παρόχου, τα δικαιώματα εργαλείων και τα στοιχεία ελέγχου δαπανών τείνουν να εξαπλώνονται σε κώδικα εφαρμογής, μυστικά CI, περιτυλίγματα SDK και πίνακες εργαλείων για συγκεκριμένες ομάδες. Αυτός ο κατακερματισμός καθιστά δυσκολότερη τη διερεύνηση των περιστατικών και τη μοντελοποίηση των μετεγκαταστάσεων πιο δύσκολη.
Η κυκλοφορία του Kong είναι επίσης ένα μήνυμα προς τους προμηθευτές που δημιουργούν επίπεδα API συμβατά με OpenAI και προϊόντα API πολλαπλών μοντέλων. Η συμβατότητα από μόνη της γίνεται στοιχήματα τραπεζιού. Οι πελάτες περιμένουν όλο και περισσότερο διακυβέρνηση γύρω από το αίτημα: επιβολή πολιτικής, αναλυτικά στοιχεία χρήσης, πρόσβαση σε επίπεδο ομάδας, έλεγχοι προϋπολογισμού, εναλλακτική δρομολόγηση και ορατότητα μοντέλου/παρόχου.
Για τους χρήστες του Model Gate, η σύνδεση είναι άμεση. Η ενοποιημένη χρέωση, η διαχείριση κλειδιού API, τα αναλυτικά στοιχεία χρήσης και τα στοιχεία ελέγχου ομάδας αποκτούν μεγαλύτερη αξία όταν η πρόσβαση στο μοντέλο είναι μόνο ένα μέρος της ροής εργασίας. Καθώς οι πράκτορες αποκτούν πρόσβαση σε εργαλεία μέσω διεπαφών τύπου MCP, οι πύλες θα πρέπει να αντιπροσωπεύουν όχι μόνο ποιο μοντέλο κλήθηκε, αλλά και ποια ομάδα, κλειδί, πακέτο εργαλείων και πλαίσιο πολιτικής εμπλέκονταν.
Το ανταγωνιστικό σημείο αναφοράς αλλάζει
Το Kong δεν είναι μόνος σε αυτήν την κατεύθυνση. Οι πρόσφατες κινήσεις στην αγορά δείχνουν ότι οι πωλητές υποδομής τεχνητής νοημοσύνης συγκλίνουν στο ίδιο ευρύτερο πρόβλημα: η επιχειρηματική τεχνητή νοημοσύνη χρειάζεται μια ελεγχόμενη διαδρομή μεταξύ χρηστών, μοντέλων, πρακτόρων, εργαλείων και δαπανών. Τα προϊόντα Gateway κρίνονται λιγότερο από το αν μπορούν να κανονικοποιήσουν τις μορφές αιτημάτων και περισσότερο από το αν μπορούν να υποστηρίξουν τους ελέγχους παραγωγής.
Αυτό ασκεί πίεση στους αγοραστές να κάνουν πιο αιχμηρές ερωτήσεις. Κατανοεί η πύλη την τιμολόγηση και τις λεπτομέρειες του συγκεκριμένου παρόχου; Μπορούν οι διαχειριστές να ορίσουν πολιτική ανά ομάδα ή ταυτότητα; Μπορεί να δρομολογηθεί μεταξύ παρόχων χωρίς να χάσει τη δυνατότητα ελέγχου;Μπορεί να διέπει τα εργαλεία πρακτόρων, όχι μόνο τα τελικά σημεία μοντέλων; Μπορεί να εκθέσει δεδομένα χρήσης και κόστους με τρόπο που μπορούν να χρησιμοποιηθούν όλα τα οικονομικά, η ασφάλεια και η μηχανική;
Αυτές οι ερωτήσεις δεν είναι πλέον θεωρητικές. Τα μοντέλα μεγάλου πλαισίου, οι κλήσεις εργαλείων αντιπροσώπων και οι πολυτροπικοί φόρτοι εργασίας μπορούν να αλλάξουν γρήγορα τα προφίλ κόστους. Μια ροή εργασίας που φαίνεται φθηνή κατά τη διάρκεια της δοκιμής μπορεί να γίνει ακριβή όταν επαναλαμβανόμενα περιβάλλοντα, είσοδοι εικόνας ή βρόχοι πρακτόρων που απαιτούν εργαλεία εισέρχονται στην παραγωγή. Μια πύλη που δεν μπορεί να διακρίνει αυτά τα μοτίβα μπορεί ακόμα να συγκεντρώνει την πρόσβαση, αλλά δεν θα παρέχει στους χειριστές αρκετό έλεγχο.
Τι παραμένει αβέβαιο
Η ανακοίνωση καθιερώνει τη γενική διαθεσιμότητα και ονομάζει τις βασικές δυνατότητες, αλλά η υιοθέτηση στον πραγματικό κόσμο θα εξαρτηθεί από τις λεπτομέρειες υλοποίησης: πώς οι ομάδες διαμορφώνουν πακέτα MCP, πόσο αναλυτικά είναι τα στοιχεία ελέγχου, πόσο αναλυτικά είναι τα στοιχεία ελέγχου. πόση λειτουργική ορατότητα αποκτούν στην πράξη οι πελάτες.
Είναι επίσης πολύ νωρίς για να γνωρίζουμε εάν οι επιχειρήσεις θα τυποποιήσουν τη διακυβέρνηση των πρακτόρων σε μια ενιαία πύλη τεχνητής νοημοσύνης ή θα κατανείμουν την ευθύνη σε πλατφόρμες cloud, εργαλεία ασφαλείας, πλατφόρμες προγραμματιστών και προμηθευτές παρατηρησιμότητας. Το AWS, οι πλατφόρμες φιλοξενίας, οι προμηθευτές IDE και οι αυτόνομοι πάροχοι πυλών προσπαθούν να κατέχουν μέρη της ίδιας επιφάνειας ελέγχου.
Παρόλα αυτά, η κατεύθυνση είναι σαφής. Το Kong AI Gateway 2.0 αντιμετωπίζει την κυκλοφορία τεχνητής νοημοσύνης ως ένα ελεγχόμενο εταιρικό σύστημα και όχι ως μια ροή κλήσεων μοντέλων. Για προγραμματιστές και επιχειρήσεις που βασίζονται σε μοντέλα API, αυτό σημαίνει ότι οι αποφάσεις πύλης γίνονται αποφάσεις αρχιτεκτονικής: επηρεάζουν το κόστος, την ασφάλεια, την επιλογή μοντέλου, την πρόσβαση εργαλείων και την αξιοπιστία των ροών εργασίας των πρακτόρων.