GitHub је учинио Цопилот Фусион опште доступним, премештајући вишемоделно рутирање из инфраструктурног проблема у свакодневни ток рада кодирања. Уместо да захтева од програмера да изабере један фиксни модел, Фусион може да изабере и оркестрира један или више модела за захтев.
Издање је важно изван GitHub копилота. Показује како корисник може да поднесе један задатак док услуга доноси неколико основних одлука о моделу, потенцијално генеришући неколико одвојено наплаћених позива. То мења оно што програмери, администратори и системи наплате морају да знају о захтеву: модел приказан у интерфејсу више није нужно потпун опис начина на који је посао обављен.
Фузија може да бира, каскаде или критикује
GitHub документује три обрасца извршавања за Фусион. Захтев може да иде на један изабрани модел, да се креће кроз каскаду модела или да користи један модел за критику резултата другог модела. Корисници такође могу да изаберу Стандардни, Високи или Максимални ниво напора, дајући им одређену контролу над тим колико се оркестрација примењује.
Ово је значајна промена производа јер рутирање постаје део искуства крајњег корисника, а не невидљива оптимизација иза добављача API. Гатеваи више модела API за тимове може да изврши сличан избор на слоју апликације, али Фусион ставља одлуку у главно развојно окружење и излаже контролу напора директно програмеру.
Приступ би могао да смањи потребу за корисницима да разумеју предности сваког доступног модела. То такође ствара нови дијагностички проблем. Када је одговор спор, скуп или нетачан, тимови морају да знају да ли је резултат дошао из једног модела, каскаде или критике која укључује неколико модела.
Један захтев може да произведе неколико трошкова
GitHub каже да се сваки модел који користи Фусион наплаћује по стандардној стопи тог модела. Такође је најавио привремени попуст од 30% на трошкове Фусион модела за плаћене планове, иако прегледана најава не прецизира када ће тај попуст престати.
Тај дизајн наплате чини праћење извршења комерцијално важним. Једна радња програмера може да потроши више ресурса од директног позива једног модела, чак и када оркестрација даје бољи резултат. Тимови који процењују Фусион ће стога морати да упореде цену по завршеном задатку кодирања, а не само наведену цену токена првог укљученог модела.
Исти проблем се односи на обједињену АИ API наплату. Записи о коришћењу треба да идентификују сваки основни позив модела уз очување везе са првобитним корисничким захтевом. Без тог односа, администратори могу да виде трошкове модела, али се муче да објасне који задатак их је генерисао или да ли је подешавање напора повећало трошкове.
Смернице предузећа и даље обликују руту
Администратори предузећа и организација могу да ограниче које моделе Фусион може да користи кроз постојеће смернице модела GitHub. То компанијама даје начин да изузму моделе који не испуњавају интерне захтеве, али такође значи да исти Фусион захтев може бити различито преусмерен у различитим организацијама.
За инжењерске лидере, политику модела и политику буџета сада треба размотрити заједно. Дозвољавање скупог модела у каталогу може омогућити Фусиону да га позове као део секвенце више модела, не само када га програмер експлицитно одабере. Практичне АИ API контроле потрошње за тимове стога треба да узимају у обзир дубину оркестрације, ниво напора и укупне трошкове свих позива повезаних са задатком.
Оператори мрежног пролаза суочавају се са сродним захтевом за извештавање. Дневници би требало да разликују модел или режим који је корисник захтевао од сваког модела који је заиста послужио захтеву. Та разлика подржава приписивање трошкова, истрагу инцидента и поновљиве процене када се понашање рутирања мења током времена.
Локално рутирање не елиминише питања у облаку
GitHub је такође представио експериментални преглед који може да усмерава између одговарајућих локалних модела и модела у облаку. Локално закључивање може да пружи другу опцију за трошкове, кашњење или руковање подацима, али реч „локално“ сама по себи не описује комплетан пут обраде. Тимовима је и даље потребна јасноћа о томе које одлуке о рутирању, упити, метаподаци или накнадни модел позива остају у услугама у облаку GitHub.
Неколико детаља остаје неразјашњено. GitHub није навео трајање попуста од 30%, а његова објављена поређења трошкова и перформанси са кодом Claude зависе од одређене конфигурације референтне вредности. Ове резултате не треба третирати као универзалне процене за свако спремиште или радно оптерећење.
Трајна промена је архитектонска: оркестрација модела постаје стандардна карактеристика алата за програмере. Како се то дешава, транспарентни записи о рутирању, избор модела који је свестан политика и извештавање о трошковима на нивоу задатака постају неопходни делови производа, а не опционе функције за посматрање.