Мулти-Тенант РАГ иза ОпенАИ-компатибилног АПИ пролаза

<п>Асистентима вештачке интелигенције окренутим клијентима је потребна генерација са проширеним преузимањем, али РАГ постаје тежи када захтеви пролазе кроз ОпенАИ компатибилни АПИ мрежни пролаз уместо изворног стека добављача једног модела. Мрежни пролаз мора да држи изоловане податке закупца, да сачува цитате међу добављачима модела, да брише индексирани садржај према распореду и да трошкове уграђивања, преузимања и генерисања приписује правом клијенту.<п>Практичан одговор је да се преузимање третира као првокласни подсистем мрежног пролаза. Немојте га сакрити унутар интеграције једног провајдера. Држите преузимање одвојено од генерисања, дајте сваком захтеву контекст преузимања у опсегу закупца, нормализујте цитате пре него што их вратите и забележите сваки наплативи корак у књизи.<х2>Проблем читача<п>Изградња тима помоћника вештачке интелигенције за многе клијенте обично почиње једноставним током: отпремање докумената, уграђивање делова који се највише поклапају, преузимање тих пропорционалних модела и преузимања пропорционалног модела. одговарати. То функционише све док производу не буде потребно више добављача модела, наплата на нивоу купца, прелазак на тржиште и могућност ревизије.<п>Ризик нису само нетачни одговори. Већи оперативни ризици су грешке у именском простору закупца, непроверљиви цитати, застарели индекси након брисања документа и маргине које се не могу објаснити јер трошкови преузимања нестају у генеричкој потрошњи инфраструктуре.<п>Овај чланак раздваја чињенице, препоруке и предвиђања. Чињенице су могућности имплементације документоване од стране тренутног АПИ-ја добављача и векторске базе података. Препоруке су избор архитектуре за производ мрежног пролаза. Предвиђања су тамо где ће овој архитектури вероватно бити потребна флексибилност јер се функције преузимања добављача стално мењају.<х2>Референтна архитектура<п>РАГ дизајн на нивоу мрежног пролаза треба да има пет компоненти:<ул><ли><стронг>Ресолвер закупца: мапира улазни АПИ кључ, радни простор, кориснички налог, клијентски налог или клијентски налог. профил: дефинише који корпус треба претраживати, који модел уграђивања користити, број резултата, филтере, опције поновног рангирања, захтеве цитирања и резервно понашање.<ли><стронг>Слој адаптера за преузимање: позива изворно преузимање добављача, екстерну векторску базу података или прилагођену услугу претраживања кроз један интерни интерфејс.<ли><стронг>Промјењује изабрани контекст и генерише контекст.<ли><стронг>Пром. добављач модела без излагања детаља векторске позадинске везе позиваоцима.<ли><стронг>Књига коришћења и ревизије: евиденција уграђивања, индексирања, преузимања, промпт токена, токена завршетка, закупца, модела, добављача и идентификатора праћења.<п>Минимални уговор захтева може да остане код добављача-{п><неутрал. "тенант_ид": "тенант_123", "модел": "гпт-цомпатибле-ор-цлауде-цомпатибле-модел", "ретриевал_профиле": "суппорт_доцс_в2", "цитатион_рекуиред": тачно, "поруке": [ {"роле": "усер", "цонтент": "Која је наша политика рефундирања за годишње планове?"} ] }<п>Одговор такође треба да буде неутралан у односу на добављача:<пре><цоде>{ "одговор": "Годишњи планови се могу рефундирати у оквиру конфигурисаног прозора политике...", "цитати": [ { "соурце_ид": "доц_789", "титле": "Политика обрачуна", "урл_ор_интернал_реф": "кб://биллинг-полици", "цхунк_ид": "цхунк_044", "оффсетс": {"паге": 3}, "оцена": 0,82, "ретриевал_провидер": "вецтор_дб", "модел_провидер": "опенаи_цомпатибле", "провидер_паилоад": {} } ], "ретриевал_траце_ид": "рт_456", "биллабле_тенант": "станар_123", "ембеддинг_усаге": нулл, "ретриевал_усаге": {"упита": 1, "резултати": 6}, "модел_усаге": {"инпут_токенс": 1920, "оутпут_токенс": 180}}<х2>Чињеница: Функције преузимања добављача нису идентичне<п>ОпенАИ-јев АПИ за векторске продавнице подржава векторска складишта која се могу креирати, претраживати, конфигурисати стратегијама раздвајања, повезивати са метаподацима датотеке и брисати. Векторска претрага продавнице подржава упите, филтере, максимални број резултата, опције рангирања, прагове резултата и контроле за поновно писање упита. Те контроле дају ауторима мрежног пролаза корисна дугмад за кашњење, релевантност и цену.<п>Контроле података платформе ОпенАИ такође чине дизајн животног циклуса важним: садржај корисника у векторским продавницама се задржава док се не избрише. Ако закупац изађе из мреже или ако привремени пројекат истекне, мрежни пролаз не може претпоставити да ће провајдер аутоматски уклонити индексирани садржај према пословном распореду производа.<п>Антхропиц открива другачији образац за цитате. Апликације могу да обезбеде блокове садржаја резултата претраге са изворним и насловним метаподацима, а када су цитати омогућени, модел може да приложи референце цитата генерисаном тексту. Постоје практична ограничења: подешавања цитирања резултата претраге су све или ништа у оквиру захтева, блокови резултата претраге подржавају текстуални садржај, а грануларност цитата зависи од тога како је садржај подељен на блокове.<п>Импликација је директна: мрежни пролаз не би требало да излаже облик преузимања једног провајдера као свој јавни уговор осим ако добављач не намерава да трајно поново покуша да га поново пронађе. ауторитет.<х2>Препорука: Користите адаптере за преузимање, а не закључавање преузимања<п>Креирајте интерфејс адаптера за интерно преузимање. Гејтвеј може да подржи неколико позадинских делова иза себе:<ул><ли><стронг>Преузимање изворног добављача: корисно када корисник жели најбржи пут до функције претраге датотека једног добављача или векторске продавнице.<ли><стронг>Спољна векторска база података: корисна када производ мора да подржава многе добављаче модела са доследном изолацијом станара и контролама резултата претраге у току животног циклуса. корисно када мрежни пролаз саставља преузети текст и прослеђује га добављачу који подржава експлицитни контекст свестан цитирања.<п>Адаптер треба да врати исту интерну структуру без обзира на позадину:<пре><цоде>интерфаце РетриевалРесулт { ретриевалТрацеИд: стринг; тенантИд: стринг; цорпусИд: стринг; цхункс: Низ<{ соурцеИд: стринг; наслов: стринг; текст: стринг; урлОрИнтерналРеф?: стринг; цхункИд: стринг; оффсетс?: { паге?: нумбер; битеСтарт?: број; битеЕнд?: број; токенСтарт?: број; токенЕнд?: број }; резултат?: број; метаподаци: Запис<стринг, стринг | број | боолеан>; провидерПаилоад?: непознато; }>; ретриевалУсаге: { провајдер: стринг; куериЦоунт: број; ресултЦоунт: број; биллаблеУнитс?: број; };}<п>Ово омогућава слоју генерисања да прими контекст без знања да ли је дошао из ОпенАИ векторских продавница, Пинецоне, Веавиате, индекса за претрагу пуног текста базе података или интерног хибридног ретривера.<х2>Изолација закупца почиње пре векторског упита<п>Изолација закупца не сме да зависи од промпта. Мора се применити пре преузимања, на граници складишта и границе упита.<п>За системе у стилу Пинецоне, документовани образац вишестанарства је један простор имена по закупцу у индексима без сервера. Операције у равни података циљају на именски простор, што поједностављује изолацију станара и ван њега јер се брисањем простора имена уклањају записи тог закупца. Пинецоне такође документује компромисе између простора имена и филтрирања метаподатака: филтрирање унутар великог дељеног именског простора може скенирати више података, коштати више и обављати спорије од упита са опсегом именског простора.<п>За системе у стилу Веавиате-а, вишезакупнина складишти сваког закупца на посебном шарду, тако да подаци једног закупца нису видљиви другом закупцу. Брисањем закупца брише се придружени сард. Веавиате такође подржава стања закупаца као што су активно, неактивно и преузето, што ствара опцију животног циклуса за ретко коришћене станаре.<х3>Контролна листа за имплементацију<ул><ли>Решите тенант_ид из аутентификованог идентитета мрежног пролаза, а не из векторског поља тела које је доставио корисник. идентификатор преко регистра на страни сервера.<ли>Одбијте захтеве у којима се закупац АПИ кључа и захтевани закупац корпуса не поклапају.<ли>Држите дељене јавне корпусе одвојено од корпуса приватних закупаца.<ли>Користите филтрирање метаподатака за тип документа, језик, област производа или опсег датума након што је граница закупца већ изабрана, назив простора закупца, ><ли цорпус_л>. ретриевал_профиле и ретриевал_траце_ид за могућност ревизије.<п>Резервирајте претрагу међу закупцима за експлицитне административне токове посла са засебним овлашћењем, засебним индексима или контролисаним путањама агрегације. Не претварајте претрагу међу закупце као случајни нежељени ефекат филтера метаподатака.<х2>Нормализујте цитате као објекте пролаза<п>Наводи су уговор о производу, а не само украс. Помоћник за корисничку подршку, алатка за правну израду нацрта или интерни помоћник за знање треба да покажу зашто је направљен одговор и одакле потиче текст подршке.<п>Гатеваи треба да нормализује податке о цитатима у сопствену шему:<пре><цоде>{ "соурце_ид": "доц_123", "титле": "Услови рефундирања", "урл_ор_интернал_реф": "кб://рефунд-термс", "цхунк_ид": "цхунк_006", "оффсетс": {"паге": 2, "бите_старт": 4410, "бите_енд": 5020}, "оцена": 0,79, "ретриевал_провидер": "веавиате", "модел_провидер": "антропски", "модел_провидер_цитатион_паилоад": {} }<п>Одржавајте нормализована поља стабилнима и дозволите екстензије специфичне за провајдера. Неки провајдери ће открити богатије детаље о цитатима од других. Неки ће цитирати блокове резултата претраге. Неки ће цитирати отпремљене датотеке. Неки неће пружити тачан офсет формат који ваша апликација жели. Мрежни пролаз треба да сачува оно што постоји без претварања да сваки добављач има идентичну семантику цитирања.<х3>Режим строгог цитирања<п>Када је цитатион_рекуиред тачно, унапред дефинишите понашање неуспеха. Строги режим може захтевати да сваки чињенични параграф укључује најмање један цитат, или да коначни одговор садржи цитате из преузетих делова изнад минималног прага резултата. Ако изабрани добављач модела не може да испуни уговор о цитирању, мрежни пролаз би требало да брзо откаже, да користи компатибилног добављача или да врати структурисано одбијање.<п>Ово је препорука, а не универзално правило. Режим строгог цитирања побољшава поверење, али може повећати комплексност одбијања, поновних покушаја и резервних. За креативне токове рада са ниским ризиком, цитати могу бити опциони. За корисничку подршку или регулисане интерне токове рада, цитатион_рекуиред би често требало да буде део профила преузимања.<х2>Животни циклус индекса је карактеристика производа<п>РАГ системи акумулирају податке. Привремена отпремања постају трајна случајно. Бивши купци остављају за собом уграђене елементе. Тимови производа мењају стратегије раздвајања и заборављају да поново направе старе индексе.Мрежни пролаз би требало да експлицитно учини контроле животног циклуса.<п>Препоручене контроле животног циклуса обухватају:<ул><ли><стронг>Привремени истек корпуса: документи отпремљени за краткотрајну сесију треба да имају временску ознаку истека и задатак брисања.<ли><стронг>Тенант енделекуе намес офбоардинг аенделетион наме: шардове, векторска складишта добављача и сродне објекте датотека.<ли><стронг>Хладно руковање закупцима: где је подржано, неактивни закупци могу бити означени као неактивни или пребачени да би се смањила употреба ресурса.<ли><стронг>Контрола верзија за поновно индексирање: складишти модел уграђивања, смернице за раздвајање, верзију парсера и сваки статус<стронг>Делецхункед. изложеност: Партнерски АПИ токови посла би требало да покажу да ли је брисање документа, брисање вектора и брисање на страни добављача завршено.<п>Важна чињеница је да се неки садржај векторске продавнице задржава док се не избрише. Препорука архитектуре је да се брисање учини видљивим и тестираним уместо да се закопава у асинхрони посао без стања окренутог клијенту.<х2>Пратите три књиге трошкова<п>Једна књига токена није довољна за РАГ. Гатеваи-у су потребне најмање три главне књиге:<ул><ли><стронг>Трошкови уграђивања и индексирања: рашчлањивање докумената, ломљење, позиви уграђивања, складиштење датотека, уписивање у индекс и поновно индексирање.<ли><стронг>Трошкови преузимања: читање векторске базе података, претрага изворне векторске продавнице, поновно рангирање, упити за поновно оцењивање и преобликовање резултата, упити. проширење.<ли><стронг>Трошкови генерисања: улазни токени из корисничких порука и преузетог контекста, излазни токени, позиви алата, поновни покушаји и резервни.<п>Ово је посебно важно за агенције, добављаче СааС-а и интерне тимове платформе који препродају или додељују трошкове вештачке интелигенције. Без засебних књига, РАГ марже постаје тешко објаснити. Закупац са малом генерацијом коришћења може и даље бити скуп ако стално отпрема документе, поново индексира велике корпусе или покреће широке упите за преузимање.<п>Сваки догађај књиге треба да садржи тенант_ид, цустомер_ид ако се разликује, ИД АПИ кључа, ретриевал_профиле, цорпус_ид, модел, провидер, траце_ид и наплативе јединице. Ово омогућава аналитици коришћења да одговори на практична питања: који закупци имају скупе профиле за проналажење, који корпуси су застарели, који модели производе неуспешне цитате и који клијенти генеришу превелике упите јер проналажење враћа превише контекста.<х2>Режими квара за тестирање<п>Гатеваи РАГ подсистем за неуспех корисника треба да има тестове за неуспех корисника који би требало да има тестове за кварове корисника. оштећење:<ул><ли><стронг>Недостају цитати: цитатион_рекуиред је тачно, али одговор добављача не садржи употребљиве референце навода.<ли><стронг>Застарели индекси: документ је ажуриран или обрисан, али се стари делови и даље појављују у резултатима преузимања.<ли><стронг>Т, док је захтев за враћање десет грешакаТребао да се врати. корпус или именски простор припада закупцу Б.<ли><стронг>Прешироко проналажење: профил враћа превише делова, повећавајући цену и разблажујући квалитет одговора.<ли><стронг>Неподударање величине комада: делови су толико велики да су цитати непрецизни, или толико мали да: контекст може да изгуби значење<стронг>Провидни модел ><стронг>Провидни модел ><стронг>Проблеми. емитују цитате у потребном облику док други не могу.<ли><стронг>Неуспех животног циклуса: захтева се брисање, али складиште на страни добављача остаје активно или непроверено.<п>Ови тестови би требало да се покрећу на нивоу уговора мрежног пролаза, а не само унутар једног адаптера добављача. Циљ је да се докаже да јавно понашање остаје стабилно када се промени позадински или генерисани провајдер.<х2>Контрола<п>Преузимање изворног добављача може да смањи код апликације и убрза прву верзију. Компромис је у томе што животни циклус складишта, формат цитата, контроле упита и доступност функција могу постати везани за једног добављача.<п>Спољне векторске базе података додају оперативну површину. Предност је већа преносивост преко ОпенАИ компатибилних модела, Антхропиц модела и будућих провајдера. Они такође олакшавају размишљање о именским просторима или деловима у опсегу закупца о томе када је мрежни пролаз одговоран за наплату и искључење.<п>Финозрнати делови побољшавају прецизност цитирања и могућност ревизије. Они такође повећавају величину индекса, обим преузимања и убрзавају сложеност склапања. Груби делови су једноставнији, али могу да произведу цитате који упућују на широку страницу или одељак, а не на тачан пратећи одломак.<п>Строг режим захтеваног цитирања побољшава поверење корисника.Такође приморава гатеваи да рукује моделима који не могу да произведу тражени формат цитата, што може значити одбијање захтева, промену модела или враћање одговора са нижим стањем поузданости.<х2>Предвиђање: преузимање ће постати изворније, али мрежним пролазима и даље треба сопствени уговор<п>Опција добављача ће вероватно постати више опција за враћање. Више модела ће прихватити преузети контекст са структурираним изворним метаподацима. Више АПИ-ја ће открити контроле рангирања, поновно писање упита и подешавања цитата. То не отклања потребу за уговором о мрежном пролазу.<п>Гејтвеј и даље поседује идентитет закупца, управљање кључевима, ограничења потрошње, аналитику коришћења, токове посла АПИ партнера и обећања о брисању упућена клијентима. Функције добављача могу да се користе иза слоја адаптера, али производ не би требало да приморава сваки ток рада закупца, модела и наплате у апстракцију преузимања једног добављача.<х2>Закључак који може да се примени<п>Изградите РАГ за више корисника као подсистем мрежног пролаза са експлицитним границама. Разрешите идентитет станара пре преузимања. Користите просторе имена, делове или векторске продавнице у опсегу закупца. Задржите преузимање иза адаптера. Нормализујте цитате у шему у власништву пролаза. Додајте стања животног циклуса и верификацију брисања. Засебно пратите трошкове уграђивања, преузимања и генерисања.<п>Ова архитектура одржава РАГ уземљење без закључавања производа за једног добављача преузимања. Такође даје тимовима оперативне контроле које су им потребне када помоћник вештачке интелигенције прелази са прототипа на систем окренут клијентима: изолацију, цитате, преносивост, управљање животним циклусом и приписивање трошкова.<х2>Повезано читање<ул><ли><а хреф="хттпс://модел-гате.цом/ен/блог/ллм-обсервабилити-мулти-модел-апи-гатеваи-трацес-токен-ледгерс-сафе-промпт-логгинг-9/">преузимање трагова, употреба токена и анализа закупаца у једном моделу запажања<ли><а хреф="хттпс://модел-гате.цом/ен/блог/струцтуред-оутпутс-мулти-модел-апи-гатеваи-јсон-сцхема-тоол-цаллс-6/">нормализује излазе специфичне за добављаче иза стабилног уговора о мрежном пролазу<ли><а хреф="хттпс://модел-гате.цом/ен/блог/буилд-аи-апи-реселлер-портал-партнер-апи-тенант-лимитс-усаге-метеринг-телеграм-опс-7/">повежите доделу закупаца и мерење коришћења са токовима посла АПИ партнера