<п>Избор АИ модела је некада звучао као једнократни избор: изаберите најспособнији модел, унесите његов ИД у код апликације и пошаљите. Тај приступ се брзо квари у производњи. Различитим токовима посла су потребни различити нивои квалитета, прозори контекста, модалитети, профили кашњења, подршка алата, правила за руковање подацима и контроле трошкова. Модел који је одличан за преглед кода може бити расипнички за класификацију. Јефтини модел који изгледа привлачно по цени токена може постати скуп ако не прође валидацију, пише дугачке одговоре или покрене поновни преглед од стране људи. <п>Практични циљ није пронаћи један универзални најбољи модел. Циљ је да се изгради поновљиви оперативни модел за избор, тестирање, рутирање, замену и надгледање модела међу провајдерима. Тај оперативни модел би требало да омогући тимовима да одговоре на основна питања са доказима: који модел је квалификован за ово радно оптерећење, колико кошта по успешном задатку, шта се дешава ако не успе, коме је дозвољено да га користи и како да мигрирамо када добављач промени доступност или повуче старији модел? <п>За тимове који користе производне АПИ системе, посебно код више добављача, избор модела постаје део одлука о производу, делом инжењеринг платформе и делом управљање. Мрежни пролаз као што је Модел Гате може помоћи са деловима контролне равни: псеудонимима модела, крајњим тачкама компатибилним са ОпенАИ и Антхропиц, видљивошћу цена, правилима приступа АПИ кључу, аналитиком коришћења, ограничењима потрошње, контролама тима и аутоматизацијом АПИ партнера. То не отклања потребу за проценом квалитета модела, али може олакшати излагање, ограничавање, посматрање и промену изабраних модела без расипања ИД-ова добављача кроз сваку апликацију. <х2>Почните са радним оптерећењем, а не именом модела <п>Добар избор АИ модела почиње класификацијом дела. Цхатбот за подршку, помоћник за кодирање, цевовод за екстракцију докумената, генератор РАГ одговора, класификатор модерације, ток рада транскрипције, генератор слике и гласовни интерфејс у ​​реалном времену немају исте захтеве. Њихово поређење кроз једну табелу рангирања скрива ствари које су важне у производњи. <п>За свако радно оптерећење дефинишите задатак који се суочава са корисником и оперативна ограничења. Интерни посао сумирања може толерисати неколико секунди кашњења ако је резултат тачан и јефтин. Радном току ћаскања окренутом клијенту ће можда бити потребан стримовање излаза, предвидљиво понашање одбијања, ниско кашњење репа и грациозан резервни ток. Цевоводи за екстракцију правних докумената можда ће требати дуг контекст, строго придржавање ЈСОН шеме, ниску толеранцију на халуцинације и пажљива правила евидентирања. Агенту за кодирање ће можда бити потребно позивање алата, контекст спремишта, дуже размишљање и повратне информације о извршењу теста. <п>Овај приступ који се односи на прво оптерећење претвара избор модела из поређења бренда у вежбу захтева. Пре него што се кандидати уђу у ужи избор, запишите уговор о могућностима: минимални скуп карактеристика које модел или рута мора да задовољи пре него што се може користити. Уговор треба да садржи улазну величину, излазну величину, подржане модалитете, потребе за структурираним излазом, позивање алата или функција, стримовање, групну подршку, безбедносне захтеве, циљ кашњења, горњу границу трошкова, ограничења задржавања података и компатибилност крајњих тачака. <х2>Дефинишите уговор о могућностима <п>Уговор о способностима је практична заштитна ограда. Спречава тимове да мењају моделе засноване само на цени или референтним резултатима када замена заправо не може да подржи ток посла. Уговор може да буде једноставан за класификатор са ниским ризиком и детаљан за регулисаног помоћника који је окренут клијентима. <х3>Основни захтеви за снимање <п>У најмању руку, документујте очекивану величину упита, максималну величину одговора, излазни формат, употребу алата и буџет за кашњење. За РАГ токове рада, укључите захтеве за цитирање, провере уземљења за проналажење и толеранцију за несигурне одговоре. За задатке екстракције наведите правила за валидацију шеме, обавезна поља и како треба руковати делимичним излазима. За мултимодалне системе, забележите да ли је току посла потребан унос слике, излаз слике, звук, транскрипција, интеракција у реалном времену или уграђивање. <п>Не претпостављајте да АПИ компатибилност значи компатибилност функција. Два провајдера могу да прихвате сличне облике захтева док се разликују у понашању структурисаног излаза, семантици стримовања, позивању алата, обрачуну токена, форматима грешака, ограничењима стопе и смерницама података. Ако ваша апликација зависи од функције провајдера, експлицитно забележите ту зависност. Преносивост је корисна, али није бесплатна. <х3>Квалификованост пре оптимизације<п>Прво питање за избор је да ли модел испуњава услове. Тек након испуњавања услова, тим треба да оптимизује квалитет, цену и брзину. Модел са атрактивном ценом није квалификован ако не може да се уклопи у контекст, да позове потребне алате, да управља модалитетом, да испуни захтеве за руковање подацима или да поуздано произведе тражени излазни облик. <п>Овде модел мрежног пролаза може оперативно помоћи. У Модел Гате-у, тимови могу да изложе дозвољене моделе преко АПИ кључева, прегледају метаподатке модела кроз листу модела и крајње тачке детаља, и усмеравају захтеве апликација кроз стабилна имена, а не кроз чврсто кодиране ИД-ове добављача. То подржава регулисано подешавање <а хреф="/ен/">АПИ-ја за више модела где су приступ моделу, обрачун и коришћење видљиви на једном месту. <х2>Направите матрицу кандидата <п>Када уговор о оптерећењу буде јасан, направите матрицу кандидата. Ово не мора да буде детаљно разрађено, али треба да буде довољно експлицитно да одлуке преживе кадровске промене, најаве добављача и преглед буџета. <п>За сваког кандидата забележите ИД модела, добављача, тип крајње тачке, прозор контекста, максималан излаз, подржане модалитете, подршку за алате, подршку за структурирани излаз, подршку за стримовање, подршку за групу, резоновање или контролу напора, димензије цена, ограничења стопе, регионална ограничења, статус животног циклуса, услове за руковање подацима и познате некомпатибилности. Укључите производни псеудоним или профил који би указивали на модел ако буде одобрен. <п>Каталози добављача се мењају. Цене, називи модела, прозори контекста, излазна ограничења, стања животног циклуса и ограничења крајњих тачака нису довољно стабилни да би се могли неограничено кодирати. Матрица кандидата даје тимовима платформе и апликација заједнички поглед на оно што је одобрено, шта је у фази евалуације, шта је наслеђе, а шта се мора повући. <х2>Користите процене специфичне за задатак, а не само јавне бенцхмаркове <п>Јавна мерила су корисна за откривање. Они помажу да се идентификују кандидати који ће вероватно бити довољно јаки за класу задатака. Они не би требало да буду коначни тест прихватања за радни ток производње. Права обавештења су неуреднија од стандардних обавештења. Они обухватају двосмислена упутства, речник специфичан за купца, погрешно обликоване податке, супротстављене уносе, буку при преузимању, недостајући контекст и пословна правила која генерички ранг-лист не мери. <п>Почните са квалитетном основном линијом. Основна линија може бити тренутни производни модел, намерно јак модел или ручно прегледан скуп очекиваних резултата. Затим процените јефтиније, брже или новије кандидате у односу на репрезентативне случајеве. Укључите нормалне примере, крајње случајеве, грешке велике вредности и примере који су раније изазвали инциденте или ескалације. <х3>Преферирајте детерминистичке провере где је то могуће <п>Многи производни задаци могу се делимично проценити детерминистичким проверама. За структурирано издвајање, потврдите ЈСОН шему, обавезна поља, енум вредности, формате датума и пословна ограничења. За генерисање кода, покрените тестове јединица, статичку анализу или компилацију. За СКЛ генерисање, проверите синтаксу и извршите у односу на безбедне тестне поставке. За РАГ одговоре, проверите присуство цитата, подршку цитираног извора и понашање одбијања када недостају докази. <п>Људски преглед и процена модел-судија су и даље корисни, али би требало да се користе тамо где детерминистичке провере не могу да обухвате траку квалитета. Ако се користи судија, калибришите рубрику према познатим добрим и лошим примерима. Без калибрације, резултати модел-судија могу дати лажан осећај прецизности. <х3>Процените начине грешке, а не само просечни квалитет <п>Просечан резултат није довољан. Производни ризик често лежи у репу: модел који тихо не успева, измишља цитате, враћа неважећи ЈСОН под оптерећењем, игнорише резултат алата или производи небезбедни одговор за малу, али важну групу захтева. Пратите стопу неуспеха валидације, стопу поновних покушаја, стопу ескалације, квалитет одбијања, обрасце халуцинација, дистрибуцију кашњења и цену по прихваћеном излазу. <х2>Измерите цену по успешном задатку <п>Цена по токену је само један део цена АПИ модела АИ. Модел са јефтинијим улазним и излазним токенима и даље може коштати више ако су му потребни већи упити, производи дуже одговоре, не успева валидација шеме, захтева вишеструке покушаје, пропушта могућности кеширања или шаље више случајева на људски преглед. Насупрот томе, скупљи модел може бити јефтинији ако реши задатак у једном пролазу са краћим упитима и мање исправки.<п>Користите цену по успешном задатку као главни финансијски показатељ. Успешан задатак је онај који испуњава критеријуме прихватања тока посла: валидан резултат, прихватљив квалитет, у оквиру буџета кашњења и без ручне корекције изван очекиваног процеса. Укључите улазне токене, излазне токене, трошкове образложења или труда где је применљиво, трошкове позива алата, слике или звука, ефекте кеша, попусте за групе, поновне покушаје, неуспехе валидације, ескалације подршке и трошкове прегледа од стране људи када материјално утичу на ток посла. <п>Тимови који управљају више апликација такође треба да изложе податке о ценама и коришћењу програмерима. Модел Гате објављује информације о моделу и ценама преко својих докумената и површина АПИ-ја, укључујући поља за одређивање цена специфичних за кључ где је то релевантно. За детаљан преглед цена, тимови могу да упореде одобрене кандидате са актуелним <а хреф="/ен/доцс/моделс/прицинг">ценама АПИ модела АИ пре него што промовишу модел у производни профил. <х2>Контролишите кашњење као део селекције <п>Кашњење није само својство добављача. Обликује га изабрани модел, величина одзивника, дужина излаза, режим стримовања, понашање поновног покушаја, здравље провајдера, ограничења брзине, регион, позиви алата и накнадна обрада. Упутства добављача обично примећују да избор модела и генерисани број токена главни доприносе кашњењу при завршетку, што значи да су избор модела и контрола излаза неодвојиви. <п>Подесите буџет за кашњење за свако радно оптерећење. За интерактивно ћаскање, одлучите које су кашњење првог токена и кашњење пуног одговора прихватљиве. За обраду у позадини, одлучите да ли је извршење серије важније од тренутног времена одговора. За агентске токове посла, водите рачуна о сваком позиву алата и окретању модела уместо да мерите време само за први захтев. <п>Када упоређујете кандидате, нормализујте услове тестирања. Користите упоредиве упите, излазна ограничења, подешавања стримовања, нивое истовремености и смернице за поновни покушај. Тест кашњења који омогућава да један модел произведе 100 токена, а други да произведе 1000 токена не мери поштено брзину модела. <х2>Користите псеудониме и профиле уместо чврсто кодираних ИД-ова модела <п>Тврдо кодирање ИД модела добављача у целом коду апликације је једна од најчешћих грешака у избору модела. То чини одговор на застарелост спорим, ствара недоследну употребу у тимовима и претвара промене модела у примену апликација. Бољи образац је да користите псеудониме или профиле модела за апликације. <п>Псеудоним је стабилно име као што је <цоде>суппорт-фаст, <цоде>суппорт-куалити, <цоде>цодинг-дефаулт, <цоде>ектрацт-јсон или <цоде>батцх-суммари. Иза псеудонима, власници платформе могу да закаче верзију модела провајдера, тестирају замене, промовишу новог кандидата или се повуку назад након регресије. Апликација захтева уговор о оптерећењу посла, а не маркетиншко име добављача. <п>Закачене верзије модела су корисне када је поновљивост важна. Алијаси којима управља провајдер могу добити побољшања, али такође могу довести до промене понашања. Прави избор зависи од тока посла. Креативни помоћник са ниским ризиком може имати користи од побољшања којима управља провајдер. Регулисаном цевоводу за екстракцију ће можда бити потребан закачени ИД, запис промене и капија за процену пре било какве миграције. <п>Модел Гате подржава псеудониме модела као механизам контролне равни, омогућавајући тимовима да одрже стабилна имена апликација док мењају решени модел иза њих. Важна пракса управљања је да се промене псеудонима третирају као производне промене: забележите разлог, погођена радна оптерећења, резултате процене, план увођења и циљ враћања. <х2>Одвојите избор модела од резервног рутирања <п>Резервни модел није само следећа најјефтинија или најдоступнија опција. Мора задовољити исти уговор о способностима или ће јасно пропасти. Небезбедно враћање може да поквари структуриране излазе, понашање алата, претпоставке контекста, безбедносно понашање, смернице за податке или корисничко искуство. <п>Одвојите одлуку о избору од политике рутирања. Избор модела одређује који модели су одобрени за радно оптерећење. Рутирање одређује када треба користити сваку одобрену руту на основу здравља провајдера, кашњења, ограничења стопе, политике закупца, правила о трошковима или одговора на инцидент. Ова разлика спречава да логика доступности тихо мења семантику. <п>На пример, ток посла корисничке подршке може да има примарни псеудоним који указује на модел високог квалитета и резервни псеудоним који указује на бржи модел другог добављача. Оба морају да подржавају потребну дужину контекста, понашање стриминга, позиве алата и безбедносна очекивања. Ако ниједна резерва не задовољава уговор, систем треба да врати јасан разлог квара, а не да се непредвидиво деградира. <х2>Увођење промена модела у фазама<п>Промене модела треба да прате исту дисциплину као и друге промене у производњи. Типично увођење има пет фаза: процена ван мреже, саобраћај у сенци где је то прикладно, ограничени канаринац, надгледано проширење и одлука о враћању. Тачан процес зависи од ризика, али прескакање директно са поређења референтних вредности на пун производни саобраћај ретко је оправдано за важне токове посла. <п>Офлајн процене утврђују да ли је кандидат веродостојан. Саобраћај у сенци може да упореди излазе без утицаја на кориснике, мада смернице за осетљиве податке могу ограничити када је то дозвољено. Увођење Цанари-а излаже мали део стварних корисника или интерних закупаца новом моделу. Надгледано проширење повећава саобраћај само ако су квалитет, кашњење, цена и показатељи грешака у границама. <п>Критеријуми за враћање треба да буду дефинисани пре увођења. Примери укључују стопу неуспеха валидације изнад прага, регресију п95 кашњења, повећање цене по успешном задатку, повећање ескалације подршке, обрасце жалби корисника или специфичне режиме кварова високе озбиљности. Без унапред дефинисаних критеријума, тимови имају тенденцију да расправљају о регресијама док их корисници већ доживљавају. <х2>План за застаревање и пензионисање <п>Управљање животним циклусом модела је део управљања моделом вештачке интелигенције. Провајдери могу означити моделе као активне, старе, застареле или повучене. Када пензионисани модел престане да прихвата захтеве, апликације које и даље зависе од њега могу одмах да пропадну. Ризик је већи када су ИД-ови модела разбацани по услугама, пословима, преносивим рачунарима и конфигурацији специфичним за закупца. <п>Чувајте рунбоок застарелих. Требало би да обухвати праћење обавештења добављача, инвентар коришћења, псеудониме на које утиче, АПИ кључеве на које утиче, власнике предузећа, кандидате за замену, захтеве за процену, рокове миграције, комуникацију са закупцима, кораке увођења и приписивање обрачуна. Аналитика коришћења је овде од суштинског значаја: пре замене модела, тимови морају да знају ко га користи, колико често, преко којих кључева, по којој цени и за које токове посла. <п>Гатеваи помаже централизовањем приступа моделу и евиденције коришћења. Уместо да у сваком спремишту траже ИД добављача, тимови могу да провере који псеудоними и кључеви се решавају у погођени модел и намерно их мигрирају. <х2>Управљајте приступом, буџетима и власништвом <п>Како употреба модела расте, одлукама о избору је потребна контрола приступа. Не би требало дозволити сваком тиму, закупцу или окружењу да користи сваки модел. Неки модели могу бити прескупи за подразумевани приступ. Неки могу бити одобрени само за интерне податке. Неки ће можда захтевати строжа правила пријављивања или пристанак корисника. Неки могу бити недоступни у одређеним регионима или неприкладни за регулисана оптерећења. <п>Управљање почиње власништвом. Сваки производни псеудоним или профил треба да има власника, опис радног оптерећења, дозвољене станаре или кључеве, буџетска очекивања, одобрено резервно понашање и ритам прегледа. Правила приступа треба да се примењују на нивоу АПИ кључа или закупца где је то могуће, а не само по конвенцији програмера. За осетљиве примене, повежите приступ моделу са ширим праксама <а хреф="/ен/топицс/апи-кеи-манагемент-аи-апис/">управљања кључевима АПИ-ја тако да се акредитиви, дозволе, ограничења потрошње и ревизијски трагови обрађују доследно. <п>За креаторе СааС-а, агенције или препродавце, исти принципи важе за све корисничке налоге. Аутоматизација у партнерском стилу може да обезбеди кључеве закупца, додели дозвољене моделе, примени ограничења потрошње и припише коришћење без излагања акредитива добављача крајњим купцима. Ово је посебно важно када клијенти имају различите буџете, потребе за усклађеношћу или правила доступности модела. <х2>Пратите стварну употребу након увођења <п>Ниједан пакет за процену не предвиђа у потпуности производно понашање. Након увођења, пратите стварну употребу према закупцу, кључу, току посла, алијасу, решеном моделу, рути добављача, употреби токена, кашњењу, грешкама, трошковима и резервним догађајима. Задржите довољно атрибуције да објасните инциденте и питања повраћаја средстава. Ако је брзо евидентирање дозвољено, пажљиво узорковајте и редигујте осетљиве податке тамо где је потребно. Ако брзо евидентирање није дозвољено, видљивост само метаподатака је и даље драгоцена. <п>Корисни производни показатељи обухватају обим захтева, стопу прихваћеног излаза, неуспехе валидације, поновне покушаје, резервну стопу, грешке добављача, грешке ограничења брзине, кашњење првог токена, кашњење пуног одговора, улазне токене, излазне токене, цену по задатку, потрошњу према кључу и дистрибуцију модела према току посла. За системе окренуте кориснику комбинујте техничку метрику са сигналима производа као што су стопе одбијања, ескалације подршке, напуштање или време ручне корекције.<п>Надгледање би требало да доведе до следећег циклуса избора. Модел који је најбоље изгледао у офлајн евалуацијама може бити преспоро под стварном истовременошћу. Јефтинији модел може уштедети новац за једног закупца и пропасти за другог јер је њихов облик података другачији. Резервни пут се може ретко користити, али је скуп када се покрене. Оперативни модел би требало да ове налазе учини видљивим и делотворним. <х2>Уобичајене грешке у избору АИ модела <п>Прва грешка је одабир из маркетиншких мерила без тестирања стварних упутстава. Референтне вредности помажу моделима у ужем избору, али прихватање производње треба да зависи од репрезентативних података и трошкова кварова. <п>Друга грешка је оптимизација за цену токена уз игнорисање укупне цене задатка. Поновни покушаји, дуги резултати, позиви алата, неуспеси валидације, промашаји кеша, понашање групе и људски преглед могу да преокрену очигледно рангирање. <п>Трећа грешка је третирање дугог контекстног прозора као замене за проналажење, сумирање и брз дизајн. Дугачак контекст може да буде драгоцен, али такође може да повећа трошкове и кашњење док се закопају релевантни докази. <п>Четврта грешка је коришћење псеудонима којима управља провајдер свуда без праћења промене понашања или очувања циљева враћања. Псеудоними добављача су згодни, али критичним токовима посла често су потребне закачене верзије и контролисане миграције. <п>Пета грешка је допуштање резервном да игнорише уговор о могућностима. Замена која не може да произведе потребан ЈСОН, да користи потребне алатке, да задовољи смернице података или да се уклопи у контекст није безбедна резерва. <п>Шеста грешка је неуспех у евидентирању захтеваног псеудонима, решеног модела, руте добављача, верзије цене, употребе токена, кашњења и стања грешке. Без тог приписивања, инциденти и спорови око наплате постају само нагађање. <х2>Практичан ток селекције <п>Издржљив ток посла може бити једноставан. Инвентар тренутног коришћења према апликацији, крајњој тачки, закупцу, АПИ кључу, току посла, породици упита, цени, кашњењу, грешкама и власнику предузећа. Дефинишите класе радног оптерећења и уговоре о могућностима. Направите матрицу кандидата. Успоставите квалитетну основу. Покрените процене специфичне за задатак. Измерите цену по успешном задатку. Намерно бирајте закачене моделе или псеудониме добављача. Изложите производне псеудониме апликацијама. Дефинишите резервна правила. Развуците у фазама. Пратите стварну употребу. Прегледајте застарелост и промене цена према распореду. <п>Овај ток посла претвара избор модела у поновљиву праксу платформе уместо у низ једнократних одлука. То даје тимовима за апликације стабилне уговоре, даје финансијама и операцијама бољу видљивост трошкова, даје безбедности јасније границе приступа и даје тимовима производа безбеднији начин да унапреде квалитет током времена. <х2>Закључак <п>Одабир АИ модела више није само избор способног ЛЛМ. У производњи, изабрани модел утиче на поузданост, кашњење, наплату, усклађеност, корисничко искуство и одговор на инциденте. Најбоља одлука је специфична за радно оптерећење и заснована на доказима: дефинишите уговор о могућностима, тестирајте кандидате на репрезентативним подацима, измерите цену по успешном задатку, контролишите увођење и пратите стварну употребу након примене. <п>За системе са више добављача, најјачи образац је да апликације буду усмерене на стабилне псеудониме или профиле док власници платформе управљају одобреним моделима, резервним рутама, правилима приступа, контролама потрошње и променама животног циклуса иза сцене. Модел Гате се уклапа у тај оперативни модел као мрежни пролаз и ниво контроле за излагање модела преко компатибилних АПИ-ја, управљање кључевима и тимовима, преглед коришћења и цена и промену приступа моделу без претварања сваке одлуке о моделу у преписивање апликације.