LLM-i jälgitavus mitme mudeli API-lüüsis: jäljed, märgiraamatud, rentnike analüüs ja turvaline viipe logimine

Hoidke kaks ideed lahus: telemeetria selgitab, mis juhtus, samas kui kasutusraamat salvestab, mida tuleks tasuda, kooskõlastada ja teatada. Nad viitavad üksteisele päringu ID-de ja jälgimis-ID-dega, kuid nad ei pea elama samas salvestussüsteemis.

Koostage žetoon ja kulureskontra, mitte ainult loendurid

Tokenide loendurid on diagrammide jaoks kasulikud, kuid neist ei piisa arveldamiseks või juhtumite uurimiseks. Pearaamat peaks kujutama olekute üleminekuid. Looge rida, kui lüüs taotluse vastu võtab, ja seejärel värskendage seda päringu edenedes.

Kasulikud pearaamatu olekud

• aktsepteeritud: autentimise ja eeskirjade kontrollimine läbitud.
• edasitati: taotlus saadeti teenusepakkujale.
• voogesitus: pakkuja hakkas žetoone tagastama.
• lõpetatud: vastus on edukalt lõpule viidud.
• user_aborted: klient katkestas ühenduse enne lõpetamist.
• uuesti proovitud: tehti täiendav teenusepakkuja katse.
• fallback_used: pärast ebaõnnestumist või eeskirjade sobitamist valiti mõni muu mudel või pakkuja.
• ebaõnnestunud: taotlus lõppes ilma kasutatava vastuseta.
• ühildatud: võrreldi ja rakendati pakkujapoolseid kasutus- või kuluandmeid.

See olekumudel aitab tuvastada levinumaid arveldus- ja analüüsivigu: voogesitatud vastused, mille korral klient katkestas ühenduse, uuesti proovimise katsed, mille eest teenusepakkuja võttis tasu, kuid mis peideti kasutaja eest, varuteed, mis loendasid vale mudeli, ja vahemälu raamatupidamise erinevused pakkujate vahel.

Kasutage OpenTelemetry GenAI tavasid ja laiendage seejärel hoolikalt

OpenTelemetry GenAI semantilised kokkulepped pakuvad mudelioperatsioonide jaoks kaasaskantavat sõnavara. Kasutage neid kokkuleppeid levinud atribuutide jaoks, nagu toimingu nimi, pakkuja, mudel, päringu parameetrid, vastuse lõpetamise põhjused, loa kasutamine ja veaolek, kui need kehtivad.

Kuid pakkuja-neutraalsed kokkulepped ei hõlma lüüsi kõiki ärimõõtmeid. Lisage lüüsile kuuluvaid atribuute või pearaamatu veerge:

• üürniku ID, meeskonna ID, edasimüüja kliendi ID ja rakenduse ID;
• lüüsi API võtme ID ja võtme ulatus;
• arveldusplaan, kululimiit ja eelarvepoliitika;
• mudeli alias ja marsruutimispoliitika versioon;
• viipamalli ID ja viipaversioon;
• töövoo nimi ja töövoo etapp;
• hinnanguline kulu, lõplik arveldatud kulu ja vastavusseviimise olek.

Müügilahendus on kardinaalsus. Need väljad on uurimise jaoks väärtuslikud, kuid need võivad muuta mõõdikud kulukaks ja mürarikkaks, kui neid kasutatakse kõikjal mõõdikute siltidena. Praktiline reegel on: madala kardinaalsusega agregaadid lähevad mõõdikutesse; suure kardinaalsusega identifikaatorid lähevad jälgedele, logidele ja pearaamatutele.

Kavandage turvaline viip ja väljundi logimine

Täielik kiire logimine muudab silumise lihtsamaks, kuid suurendab privaatsust, vastavust, talletamist ja siseringi riskide kokkupuudet. Turvalisem vaikeseade on metaandmete esmane jälgitavus.

Vaikimisi: ainult metaandmed

Enamiku tootmisliikluse jaoks salvestage:

• küsi malli ID ja versioon;
• normaliseeritud viipade ja väljundite räsid;
• sisendi, väljundi, vahemällu salvestatud ja konteksti lubade arv;
• vastuse skeemi nimi ja valideerimise tulemus;
• ohutusmärgised ja poliitikaotsused;
• veakokkuvõtted ja pakkuja veaklassid;
• metaandmete, mitte töötlemata dokumentide toomine.

Lubage: kontrollitud sisu jäädvustamine

Kui vajate sügavaks silumiseks töötlemata või redigeeritud sisu, nõudke selgesõnalist eeskirja. Heade juhtelementide hulka kuuluvad keskkonna lubade loendid, üürniku nõusolek, proovide võtmine, maksimaalne kasuliku koormuse pikkus, automaatne redigeerimine, lühikesed säilitusaknad, krüpteerimine, rollipõhine juurdepääs, auditi logid ja tundlike juhtumite jaoks mõeldud kinnitustee.

Ärge käsitlege redigeerimist täiuslikuna. See vähendab riski; see ei kõrvalda seda. Reguleeritud või kõrge tundlikkusega töökoormuse korral kaaluge ainult räside salvestamist ja probleemide taasesitamist sünteetilises rakmetes koos heakskiidetud katseandmetega.

Lisage RAG-i vaadeldavus eraldi kihina

Tootmisega täiendatud genereerimine võib muuta nii kvaliteeti kui ka kulusid. Ainult lõpliku mudelikutse logimine peidab algpõhjuse, kui retriiver tagastab liiga palju tükke, aegunud dokumente või ebaolulist konteksti.

Iga otsinguetapi jaoks jäädvustage:

• indeksi või kogu nimi;
• otsingustrateegia ja manustamismudel;
• dokumendi ID-d või räsi-ID-d;
• tükkide arv ja kontekstimärgid kokku;
• otsimise latentsusaeg;
• skoori jaotus, kui see on saadaval;
• tsitaadi kajastus;
• kas otsitud konteksti kasutati lõplikus vastuses.

See võimaldab teil eristada „mudel muutus halvemaks” ja „retriiver hakkas saatma madala kvaliteediga või liigset konteksti”. Samuti aitab see tuvastada töövooge, kus kontekstimärgid domineerivad kogukuludes.

Lüüsi kasutuse vastavusse viimine teenusepakkuja arveldamisega

Lüüsi prognoosid on kohe saadaval. Pakkujapoolsed arveldusandmed on tavaliselt aeglasemad, kuid usaldusväärsemad. Kasutage mõlemat.

Igapäevane kooskõlastustöö peaks võrdlema lüüsi pearaamatu ridu pakkuja kasutus API-de, kulu API-de, armatuurlaua eksportimise või arvete ekspordiga. Grupeeri deltad pakkuja, mudeli, projekti ja ajaakna järgi. Jälgige eraldi sisend-, väljund-, vahemällu salvestatud lubade, taotluste arvu ja kulu erinevusi.

Levinud vastavuserinevused

• Voogesitus katkeb: lüüs võib näha katkestatud klienti, samal ajal kui teenusepakkuja arveldab endiselt loodud žetoonide eest.
• Korduskatsed: mitme katse eest võidakse arveldada isegi siis, kui tagastatakse ainult üks lõplik vastus.
• Viiba vahemällu salvestamine: pakkujad võivad avaldada vahemällu salvestatud märgi arvestust erinevalt.
• Ümardamine: väikesed erinevused taotluse kohta võivad mastaapselt nähtavaks saada.
• Paki- või tasandi allahindlused: pakkuja arvetel võidakse rakendada hinnakujundust, mida reaalajas prognoos veel ei teadnud.
• Pakkujapoolsed muudatused: mudeli hinnakujundus, loa andmise käitumine või arvelduse eksport võivad aja jooksul muutuda.

Kui lepitus leiab delta, vältige oma pearaamatu vaikselt ülekirjutamist. Salvestage esialgne hinnang, pakkuja kooskõlastatud väärtus, vastavuse allikas ja põhjuskood, kui see on teada.

Armatuurlauad, mis vastavad tööküsimustele

Alustage armatuurlaudu lugejaprobleemidest, mitte edevusmõõdikutest. Kasulikud vaated on järgmised:

• kulu rentniku, meeskonna, rakenduse ja töövoo kohta;
• kulu eduka ülesande kohta, mitte ainult taotluse hind;
• p50, p95 ja p99 latentsus pakkuja, mudeli ja mudeli aliase järgi;
• varumäär ja uuesti proovimise määr marsruudi kaupa;
• ajalõpu määra ja pakkuja veaklassi trendid;
• vahemälu tabamuste suhe ja vahemällu salvestatud märgi säästuprognoos;
• struktureeritud väljundi valideerimise ebaõnnestumise määr;
• peamised viipade versioonid eelarve põletamise tõttu;
• RAG-i konteksti lubade jagamine töövoo järgi;
• kaitsepiirdeplokid ja kiire süstimise klassifikaatori tabamused.

Hoiatamiseks ühendage tehnilised ja ärilised signaalid. Üürniku äkiline kulutuste hüpe võib olla pakilisem kui väike ülemaailmne latentsusaja suurenemine. Varumäära hüpe pärast mudeli pseudonüümi muutmist võib viidata ühilduvusprobleemile. Korduvad 401, 429 või 5xx vastused võivad viidata võtmeprobleemidele, kvoodi ammendumisele või pakkuja ebastabiilsusele.

OpenAI-ga ühilduva puhverserveri minimaalne juurutusvoog

Puhverserveri /chat/completions puhul võib voog olla lihtne:

1. Võtke taotlus vastu ja määrake request_id ja jälgige konteksti.
2. Autentige lüüsi võti ja määrake rentnik, meeskond, rakendus ja poliitika ulatus.
3. Looge ülemlüüsi ulatus.
4. Looge pearaamatu rida olekuga aktsepteeritud.
5. Lasendage mudeli pseudonüüm teenusepakkuja mudeli ja marsruutimispoliitika versiooniga.
6. Salvestage metaandmed: toiming, viipamalli ID, skeemi nimi, viiba räsi ja sisuhõive eeskirjad.
7. Alustage mudelikutse ulatust, kasutades võimalusel GenAI semantilisi atribuute.
8. Edasta taotlus valitud pakkujale.
9. Voogesituse jaoks värskendage olekut, kui esimene tükk saabub, ja loendage kasutust nii täpselt, kui pakkuja vastus lubab.
10. Lõpetamisel sõeluge pakkuja kasutust, lõpetamise põhjust, olekut ja veaklassi.
11. Värskendage pearaamatut žetoonide, hinnangulise maksumuse, korduskatse/varuandmete ja lõpliku taotluse olekuga.
12. Emiteerige mõõdikuid pearaamatu ja ulatuse andmetest.
13. Käitage igapäevast vastavusse viimist ja poe pakkuja poolt kinnitatud kulu esialgsest hinnangust eraldi.

Avaldamise kontroll-loend

• Määratlege kanoonilised päringu ID-d ja jälgimise ID-d.
• Võtke kasutusele OpenTelemetry GenAI atribuudid tavalise mudeli telemeetria jaoks.
• Looge päringu oleku üleminekutega lüüsi kasutusreskontra.
• Pakkuja, mudeli, mudeli pseudonüümi, rentniku, rakenduse ja töövoo dimensioonide normaliseerimine.
• Hoidke kõrge kardinaalsusega uurimisandmed mõõdikute siltidest eemal.
• Muutke töötlemata viip ja väljundi jäädvustamine vaikimisi keelatud.
• Lisage proovide võtmise, redigeerimise, säilitamise ja juurdepääsu juhtimise selgesõnalised eeskirjad.
• Jaldista RAG-töövoogude otsingu metaandmed.
• Koosta armatuurlaudu kulude, latentsuse, töökindluse, valideerimise ja rentnike käitumise jaoks.
• Võtke lüüsi hinnangud kokku teenusepakkuja kasutuse ja kulude ekspordiga.
• Hoiatus järsu kulude, latentsusaja regressioonide, varuhüpete, valideerimistõrgete ja turvalisusega seotud sündmuste kohta.

Järeldus

Mitme mudeliga lüüs on õige koht LLM-i jälgitavuse juurutamiseks, kuna see näeb päringuid enne, kui need jõuavad ühegi pakkujani, ja saab lisada ärikonteksti, mida pakkujad ei tea. Tugevaim disain ei ole "logi kõik". See on mitmekihiline mudel: teenusepakkuja-neutraalsed jäljed täitmiseks, vastupidav žetoon ja kulureskontra arveldamiseks, rentnike analüüs juhtimiseks, RAG-i metaandmed otsingukvaliteedi tagamiseks ja privaatsus-eelkõige logimine turvaliseks silumiseks.

Alustage metaandmetest, olekuüleminekutest ja kooskõlastamisest. Lisage sisu jäädvustamine alles siis, kui poliitika, säilitamise ja juurdepääsu juhtelemendid on valmis. See jada annab arendajatele tõendeid, mida nad vajavad latentsuse, kvaliteedi ja kulutuste silumiseks, muutmata vaadeldavust uueks andmetega kokkupuute riskiks.

Seotud lugemine

• viipade vahemällu salvestamine ja pakettkulude juhtimise mustrid
• meeskonna API võtmehaldus ja kululimiidid