GitHub učinio je Copilot Fusion općenito dostupnim, premještajući usmjeravanje više modela iz infrastrukturne brige u svakodnevni tijek rada kodiranja. Umjesto da od programera traži da odabere jedan fiksni model, Fusion može odabrati i orkestrirati jedan ili više modela za zahtjev.
Izdanje je važno izvan GitHub Copilota. Pokazuje kako korisnik može podnijeti jedan zadatak dok usluga donosi nekoliko temeljnih odluka o modelu, potencijalno generirajući nekoliko poziva koji se zasebno naplaćuju. To mijenja ono što programeri, administratori i sustavi naplate trebaju znati o zahtjevu: model prikazan u sučelju više nije nužno potpuni opis kako je posao obavljen.
Fusion može odabrati, kaskadirati ili kritizirati
GitHub dokumentira tri obrasca izvršavanja za Fusion. Zahtjev može ići do jednog odabranog modela, kretati se kroz kaskadu modela ili koristiti jedan model za kritiku rezultata drugog modela. Korisnici također mogu odabrati standardne, visoke ili maksimalne razine napora, dajući im određenu kontrolu nad primjenom orkestracije.
Ovo je značajna promjena proizvoda jer usmjeravanje postaje dio iskustva krajnjeg korisnika, a ne nevidljiva optimizacija iza pružatelja API. Višemodelni API pristupnik za timove može izvršiti sličan odabir na aplikacijskom sloju, ali Fusion stavlja odluku u glavno razvojno okruženje i izlaže kontrolu napora izravno programeru.
Pristup bi mogao smanjiti potrebu da korisnici razumiju prednosti svakog dostupnog modela. To također stvara novi dijagnostički problem. Kada je odgovor spor, skup ili netočan, timovi trebaju znati je li rezultat došao iz jednog modela, kaskade ili kritičkog prolaza koji uključuje nekoliko modela.
Jedan zahtjev može proizvesti nekoliko troškova
GitHub kaže da se svaki model koji koristi Fusion naplaćuje po standardnoj cijeni tog modela. Također je najavio privremeni popust od 30% na troškove modela Fusion za pretplate, iako pregledana najava ne precizira kada taj popust prestaje.
Taj dizajn naplate čini praćenje izvršenja komercijalno važnim. Pojedinačna radnja programera može potrošiti više resursa od izravnog pozivanja jednog modela, čak i kada orkestracija daje bolji rezultat. Timovi koji procjenjuju Fusion stoga će morati usporediti cijenu po dovršenom zadatku kodiranja, a ne samo navedenu cijenu tokena prvog uključenog modela.
Isti problem odnosi se na objedinjenu AI API naplatu. Zapisi o korištenju trebali bi identificirati svaki temeljni poziv modela uz očuvanje veze s izvornim korisničkim zahtjevom. Bez tog odnosa, administratori mogu vidjeti modele naknada, ali se muče s objašnjenjem koji ih je zadatak generirao ili je li postavka napora povećala trošak.
Pravila poduzeća i dalje oblikuju rutu
Administratori poduzeća i organizacije mogu ograničiti koje modele Fusion može koristiti putem GitHub postojećih pravila modela. To tvrtkama daje način da isključe modele koji ne ispunjavaju interne zahtjeve, ali također znači da se isti Fusion zahtjev može različito usmjeravati među organizacijama.
Za voditelje inženjeringa, politiku modela i politiku proračuna sada je potrebno razmatrati zajedno. Dopuštanje skupog modela u katalogu može omogućiti Fusionu da ga pozove kao dio niza s više modela, ne samo kada ga programer izričito odabere. Praktične AI API kontrole potrošnje za timove stoga bi trebale uzeti u obzir dubinu orkestracije, razinu napora i ukupnu cijenu svih poziva povezanih sa zadatkom.
Operatori pristupnika suočavaju se s povezanim zahtjevom za izvješćivanje. Dnevnici bi trebali razlikovati model ili način koji je korisnik zatražio od svakog modela koji je stvarno poslužio zahtjevu. Ta razlika podržava pripisivanje troškova, istragu incidenta i ponovljive procjene kada se ponašanje usmjeravanja mijenja tijekom vremena.
Lokalno usmjeravanje ne uklanja pitanja u oblaku
GitHub također je uveo eksperimentalni pregled koji može usmjeravati između prihvatljivih lokalnih i modela u oblaku. Lokalno zaključivanje može pružiti drugu opciju za troškove, kašnjenje ili rukovanje podacima, ali riječ "lokalno" sama po sebi ne opisuje potpuni put obrade. Timovi i dalje trebaju jasnoću o tome koje odluke o usmjeravanju, upiti, metapodaci ili pozivi naknadnog modela ostaju u uslugama u oblaku GitHub.
Nekoliko detalja ostaje neriješeno. GitHub nije precizirao trajanje popusta od 30%, a njegove objavljene usporedbe cijene i izvedbe s Claude kodom ovise o određenoj referentnoj konfiguraciji. Te rezultate ne treba tretirati kao univerzalne procjene za svako spremište ili radno opterećenje.
Trajna promjena je arhitektonska: orkestracija modela postaje standardna značajka alata za razvojne programere. Kako se to dogodi, transparentni zapisi o usmjeravanju, odabir modela koji je svjestan pravila i izvješćivanje o troškovima na razini zadatka postaju nužni dijelovi proizvoda umjesto izbornih značajki vidljivosti.