GitHub έκανε το Copilot Fusion γενικά διαθέσιμο, μεταφέροντας τη δρομολόγηση πολλαπλών μοντέλων από μια ανησυχία υποδομής στην καθημερινή ροή εργασιών κωδικοποίησης. Αντί να απαιτεί από έναν προγραμματιστή να επιλέξει ένα σταθερό μοντέλο, το Fusion μπορεί να επιλέξει και να ενορχηστρώσει ένα ή περισσότερα μοντέλα για ένα αίτημα.
Η κυκλοφορία έχει σημασία πέρα από το GitHub Copilot. Δείχνει πώς ένας χρήστης μπορεί να υποβάλει μια εργασία, ενώ η υπηρεσία λαμβάνει πολλές υποκείμενες αποφάσεις για το μοντέλο, δημιουργώντας ενδεχομένως πολλές ξεχωριστές κλήσεις. Αυτό αλλάζει όσα πρέπει να γνωρίζουν οι προγραμματιστές, οι διαχειριστές και τα συστήματα χρέωσης σχετικά με ένα αίτημα: το μοντέλο που εμφανίζεται στη διεπαφή δεν αποτελεί πλέον απαραίτητα μια πλήρη περιγραφή του τρόπου εκτέλεσης της εργασίας.
Το Fusion μπορεί να επιλέξει, να καταρρεύσει ή να ασκήσει κριτική
ΤοGitHub τεκμηριώνει τρία μοτίβα εκτέλεσης για το Fusion. Ένα αίτημα μπορεί να πάει σε ένα μεμονωμένο επιλεγμένο μοντέλο, να μετακινηθεί σε έναν καταρράκτη μοντέλων ή να χρησιμοποιήσει ένα μοντέλο για να ασκήσει κριτική στην έξοδο ενός άλλου μοντέλου. Οι χρήστες μπορούν επίσης να επιλέξουν Τυπικό, Υψηλό ή Μέγιστο επίπεδο προσπάθειας, δίνοντάς τους κάποιο έλεγχο σχετικά με την ποσότητα ενορχήστρωσης που εφαρμόζεται.
Πρόκειται για μια σημαντική αλλαγή προϊόντος επειδή η δρομολόγηση γίνεται μέρος της εμπειρίας του τελικού χρήστη και όχι μια αόρατη βελτιστοποίηση πίσω από έναν πάροχο API. Μια πύλη πολυμοντέλου API για ομάδες μπορεί να εκτελεί παρόμοια επιλογή στο επίπεδο εφαρμογής, αλλά το Fusion τοποθετεί την απόφαση σε ένα σημαντικό περιβάλλον ανάπτυξης και εκθέτει έναν έλεγχο προσπάθειας απευθείας στον προγραμματιστή.
Η προσέγγιση θα μπορούσε να μειώσει την ανάγκη των χρηστών να κατανοήσουν τα δυνατά σημεία κάθε διαθέσιμου μοντέλου. Δημιουργεί επίσης ένα νέο διαγνωστικό πρόβλημα. Όταν μια απάντηση είναι αργή, δαπανηρή ή λανθασμένη, οι ομάδες πρέπει να γνωρίζουν εάν το αποτέλεσμα προήλθε από ένα μοντέλο, ένα καταρράκτη ή ένα πάσο κριτικής που περιλαμβάνει πολλά μοντέλα.
Ένα αίτημα μπορεί να προκαλέσει πολλές χρεώσεις
ΤοGitHub λέει ότι κάθε μοντέλο που χρησιμοποιείται από το Fusion χρεώνεται με την τυπική τιμή αυτού του μοντέλου. Έχει επίσης ανακοινώσει μια προσωρινή έκπτωση 30% στο κόστος του μοντέλου Fusion για προγράμματα επί πληρωμή, αν και η αναθεωρημένη ανακοίνωση δεν προσδιορίζει πότε θα λήξει αυτή η έκπτωση.
Αυτός ο σχεδιασμός χρέωσης καθιστά το ίχνος εκτέλεσης εμπορικά σημαντικό. Μια μεμονωμένη ενέργεια προγραμματιστή μπορεί να καταναλώνει περισσότερους πόρους από μια άμεση κλήση σε ένα μοντέλο, ακόμα και όταν η ενορχήστρωση παράγει καλύτερο αποτέλεσμα. Επομένως, οι ομάδες που αξιολογούν το Fusion θα πρέπει να συγκρίνουν το κόστος ανά ολοκληρωμένη εργασία κωδικοποίησης, όχι μόνο την αναγραφόμενη τιμή διακριτικού του πρώτου μοντέλου που εμπλέκεται.
Το ίδιο ζήτημα ισχύει για την ενοποιημένη τεχνητή νοημοσύνη API χρέωση. Οι εγγραφές χρήσης θα πρέπει να προσδιορίζουν κάθε υποκείμενη κλήση μοντέλου, διατηρώντας παράλληλα τη σύνδεση με το αρχικό αίτημα χρήστη. Χωρίς αυτήν τη σχέση, οι διαχειριστές μπορεί να βλέπουν χρεώσεις μοντέλου, αλλά δυσκολεύονται να εξηγήσουν ποια εργασία τις δημιούργησε ή αν μια ρύθμιση προσπάθειας αύξησε το κόστος.
Οι εταιρικές πολιτικές εξακολουθούν να διαμορφώνουν τη διαδρομή
Οι διαχειριστές επιχειρήσεων και οργανισμών μπορούν να περιορίσουν τα μοντέλα που μπορεί να χρησιμοποιήσει το Fusion μέσω των υφιστάμενων πολιτικών μοντέλων του GitHub. Αυτό δίνει στις εταιρείες έναν τρόπο να αποκλείουν μοντέλα που δεν πληρούν τις εσωτερικές απαιτήσεις, αλλά σημαίνει επίσης ότι το ίδιο αίτημα Fusion μπορεί να δρομολογηθεί διαφορετικά μεταξύ των οργανισμών.
Για τους ηγέτες της μηχανικής, η πολιτική μοντέλου και η πολιτική προϋπολογισμού πρέπει τώρα να εξεταστούν μαζί. Το να επιτραπεί ένα ακριβό μοντέλο στον κατάλογο μπορεί να επιτρέψει στο Fusion να το επικαλείται ως μέρος μιας ακολουθίας πολλαπλών μοντέλων, όχι μόνο όταν ο προγραμματιστής το επιλέγει ρητά. Τα πρακτικά στοιχεία ελέγχου δαπανών AI API για τις ομάδες θα πρέπει επομένως να λάβουν υπόψη το βάθος ενορχήστρωσης, το επίπεδο προσπάθειας και το συνολικό κόστος όλων των κλήσεων που σχετίζονται με μια εργασία.
Οι χειριστές πυλών αντιμετωπίζουν μια σχετική απαίτηση αναφοράς. Τα αρχεία καταγραφής θα πρέπει να διακρίνουν το μοντέλο ή τη λειτουργία που ζητά ο χρήστης από κάθε μοντέλο που εξυπηρέτησε πραγματικά το αίτημα. Αυτή η διάκριση υποστηρίζει την απόδοση κόστους, τη διερεύνηση συμβάντων και τις αναπαραγώγιμες αξιολογήσεις όταν η συμπεριφορά δρομολόγησης αλλάζει με την πάροδο του χρόνου.
Η τοπική δρομολόγηση δεν εξαλείφει τις ερωτήσεις στο cloud
ΤοGitHub έχει επίσης εισαγάγει μια πειραματική προεπισκόπηση που μπορεί να δρομολογήσει ανάμεσα σε κατάλληλα τοπικά μοντέλα και μοντέλα cloud. Το τοπικό συμπέρασμα μπορεί να παρέχει μια άλλη επιλογή για το κόστος, την καθυστέρηση ή το χειρισμό δεδομένων, αλλά η λέξη "τοπικό" δεν περιγράφει από μόνη της την πλήρη διαδρομή επεξεργασίας. Οι ομάδες χρειάζονται ακόμη σαφήνεια σχετικά με το ποιες αποφάσεις δρομολόγησης, μηνύματα προτροπής, μεταδεδομένα ή κλήσεις επακόλουθων μοντέλων παραμένουν στις υπηρεσίες cloud του GitHub.
Πολλές λεπτομέρειες παραμένουν αδιευκρίνιστες. Το GitHub δεν έχει καθορίσει τη διάρκεια της έκπτωσης 30% και οι δημοσιευμένες συγκρίσεις κόστους και απόδοσης με το Claude Code εξαρτώνται από μια συγκεκριμένη διαμόρφωση του δείκτη αναφοράς. Αυτά τα αποτελέσματα δεν πρέπει να αντιμετωπίζονται ως καθολικές εκτιμήσεις για κάθε χώρο αποθήκευσης ή φόρτο εργασίας.
Η ανθεκτική αλλαγή είναι αρχιτεκτονική: η ενορχήστρωση μοντέλων γίνεται τυπικό χαρακτηριστικό των εργαλείων προγραμματιστών. Καθώς συμβαίνει αυτό, οι διαφανείς εγγραφές δρομολόγησης, η επιλογή μοντέλων με γνώσεις πολιτικής και η αναφορά κόστους σε επίπεδο εργασίας γίνονται απαραίτητα μέρη του προϊόντος και όχι προαιρετικές λειτουργίες παρατηρητικότητας.