Tokenide arvestuse voogesitus AI API lüüsis: lõppkasutus, tühistamised ja osalised vastused

Kui allavoolu helistaja selle välja jätab, saab lüüs otsustada, kas sisestada see marsruutidele, kus see ühildub. Dokumenteerige see käitumine, kuna mõned kliendid eeldavad täpset juhtmete ühilduvust ja mõned mudelid või ülesvoolu ei pruugi lõppkasutust samal viisil toetada.

Soovitus: ärge arveldage üürniku kulusid varaste osade alusel. Hoidke pearaamatu rida avatuna, kuni viimane kasutussündmus on jäädvustatud, pakkuja vastus lõpeb kasutuseta või voog siseneb vea- või tühistamisteele.

Antroopiline voogesitus

Anthropic'i kumulatiivne kasutamine nõuab teistsugust reeglit. Kui lüüs näeb kolme message_delta sündmust, mille väljundlubade arv on 10, 25 ja 40, on väljundi arv 40, mitte 75.

lase latestUsage = null;
for await (const event of anthropicStream) {
  if (sündmus.tüüp === "message_delta" && event.usage) {
    if (latestUsage && event.usage.output_tokens < latestUsage.output_tokens) {
      emit("kumulatiivne_kasutus_tagasi", requestId);
    }
    latestUsage = event.usage;
  }
  edasiKliendile(sündmus);
}
setttleFromLatestCumulativeUsage(latestUsage);

Soovitus: salvestage viimane kumulatiivne kasutusväärtus ja edastage jälgitavussündmus, kui see taandub. Regressioon võib viidata parseri vigadele, dubleeritud sündmustele, pakkuja muudatustele või segatud voogudele.

Kaksikute ja Vertexi stiilis voogesitus

Gemini toetab voogesituse tükke, et vähendada tajutavat latentsust. Vertex-stiilis SDK-des võib voogesitus paljastada nii asünkroonse voo kui ka koondatud vastuseobjekti. Lüüs peaks säilitama selle koondatud tee, kui see on saadaval.

const streamingResult = ootama model.generateContentStream(request);
for await (const chunk of streamingResult.stream) {
  edasiChunk(tükk);
  countDeliveredBytesOrText(tükk);
}
const aggregated = oodake streamingResult.response;
setttleFromAggregatedUsage(agregated);

Soovitus: vältige kogu arvestuse loomist nähtavatest tükkidest, kui SDK annab täidetud vastusekirje. Tükid on latentsusaja jaoks. Lõppobjekt on sageli arvelduse ja analüüsi jaoks parem.

Klientide lahtiühendamiste käsitlemine esmaklassiliste raamatupidamissündmustena

Klientide ühenduse katkestamine on koht, kus paljud lüüsid kaotavad raha või võtavad klientidelt üle tasu. Brauseri vahekaart sulgub, mobiilsidevõrk katkeb või rakendus tühistab päringu. Lüüs märkab, et allavoolu pistikupesa on suletud, kuid ülesvoolu pakkuja võib siiski genereerida.

Lüüs peaks tegema selge poliitikavaliku:

• Tühista kohe ülesvoolu: vähendab raisatud tootmis- ja teenusepakkuja kulusid, kuid võib rikkuda töövooge, kus taustaprogramm vajab tulemust ka pärast kasutajaliidese lahtiühendamist.
• Jätkake taustal ülesvoolu: võib säilitada tööd serveripoolsete tarbijate jaoks, kuid kasutaja ei pruugi näha kõiki loodud ja arveldatud märke.
• Marsruudist sõltuv käitumine: tühistage interaktiivse vestluse jaoks, jätkake töölaadsete töövoogude jaoks ja tehke seade üürnikele nähtavaks.

Interaktiivse voogesituse praktiline vaikeseade on tühistada ülesvoolu, kui allavoolu klient katkestab ühenduse, ja seejärel märkida pearaamatu rida kui client_aborted. Kui lõppkasutus saabub tühistamise ajal, arveldage selle autoriteetse kasutusega. Kui ei, siis märkige rida estimated või pending_conciliation, mitte ei teeskle, et see on täpne.

downstream.on("close", async () => {
  if (!providerCompleted) {
    pearaamat.markClientAborted(requestId);
    oota ülesvoolu.abort().catch(() => {
      ledger.emit("ülesvoolu_tühista_ebaõnnestunud", taotluseId);
    });
  }
});

Soovitus: tooge välja läbipaistvad arveldussildid, nagu lõplik, provider_reconciled, hinnanguline, loobunud või ootel_kokkuleppimine. See on paremini kaitstud kui iga voogesitatava kõne näitamine kohe täpsena.

Kvoodi jõustamine voo ajal

Täpne arveldamine sõltub tavaliselt teenusepakkuja lõppkasutusest, kuid kvoodi jõustamine ei saa alati lõpuni oodata. Raske eelarvega üürnikul ei tohiks lubada lõputult voogesitada, kuna täpne kasutus pole lennu keskel saadaval.

Kasutage kahte mehhanismi koos:

1. Lennueelne broneerimine: reserveerige hinnanguline maksimumsumma mudeli, taotletud maksimaalsete lubade, rentniku poliitika ja praeguse saldo alusel.
2. Voogesituse rõhu kontrollid: voo ajal edastatud väljundi hindamine ja peatamine, kui taotlus ületab konfigureeritud ohutuspiiri.

See on kontrollimehhanism, mitte lõpparve. Pakkujad võivad vahemällu salvestatud märke, arutlusmärke, multimodaalseid märke või peidetud märke loendada erinevalt lüüsi hinnangust.

Muu: reaalajas prognoosid aitavad eelarveid jõustada, kuid need võivad erineda teenusepakkuja arveldusmärkidest. Lõplik arveldus peaks võimaluse korral kasutama autoriteetset teenusepakkuja kasutust ja vastavusse viimine peaks hinnanguid hiljem kohandama.

Vaatlussündmused, mis tabavad raamatupidamisvigu

Voogesituse arveldamise tõrkeid on lihtsam siluda, kui lüüs väljastab sihitud sündmusi, mitte ainult üldist päringulogi. Lisage selliseid sündmusi nagu:

• final_usage_missing: voog lõppes ilma autoriteetse kasutuseta.
• cumulative_usage_regressed: kumulatiivne lubade arv on nihutatud tagasi.
• stream_ended_without_stop_event: tavalist pakkuja stoppmarkerit ei täheldatud.
• aborted_after_provider_completion: teenusepakkuja lõpetas, kuid allavoolu klient suleti enne, kui lüüs lõpetas edastamise.
• settled_from_estimate: rentniku pearaamat kasutas hinnangut, kuna lõppkasutus ei olnud saadaval.
• reconciliation_adjusted_usage: teenusepakkuja aruandlus muutis hiljem rida.

Fakt: OpenTelemetry GenAI semantilised kokkulepped soovitavad võimaluse korral kasutada voogesituse vastuste jaoks pakkuja tagastatud kasutusteavet ja hoiatavad kasutusmõõdikute aruandluse eest, kui žetoonide arvu pole võimalik tõhusalt või täpselt hankida.

AI kasutusanalüütika puhul tähendab see, et armatuurlauad peaksid toetama usaldustasemeid. Diagramm, mis segab lõplikke, hinnangulisi ja kooskõlastatud väärtusi ilma siltideta, võib näida puhas, kuid eksitada finants- ja tugitiime.

Voogesitusarvestuse vastavustestid

Ärge lootke õnneliku tee vestlusjuhise käsitsi testimisele. Igal pakkuja adapteril peaksid olema vastavustestid juhtudeks, mis rikuvad pearaamatuid:

• Tavaline voog: lõppkasutus saabub, peatumissündmust täheldati, pearaamat loetakse lõplikuks.
• Tööriistakõnede voog: tööriistakutsete deltad suunatakse edasi, kasutus jäädvustatakse, struktureeritud metaandmed ei riku lubade loendamist.
• Ohutus- või keeldumispeatus: teenusepakkuja peatub varakult, kasutamine laheneb endiselt õigesti.
• Kliendi sundühenduse katkestamine: allavoolu sulgub pärast osalist väljundit; ülesvoolu tühistatakse või jätkatakse vastavalt poliitikale.
• 5xx ülesvoolu pärast osalist väljundit: lüüs salvestab osalise edastamise ega märgi taotlust puhtalt õnnestunuks.
• Lüüsi ajalõpp enne lõplikku kasutamist: rida muutub hinnanguliseks või ootel on kooskõlastamine.
• Puuduv viimane sündmus: adapter väljastab final_usage_missing ja väldib täpseid arveldussilte.

Need testid peaksid kinnitama olekuüleminekuid, pearaamatu välju, emiteeritud jälgitavuse sündmusi ja allavoolu käitumist. Baitide kaupa voo ühilduvusest ei piisa; raamatupidamislikud kõrvalmõjud on osa lepingust.

Praktilise rakendamise kontroll-loend

• Enne ülesvoolu päringu saatmist looge kasutusreskontra rida.
• Salvestage üürniku, võtme, kasutaja, mudeli, marsruudi, pakkuja ja päringu identifikaatorid päringu ajal.
• Lubage pakkuja lõppkasutuse aruandlus, kui seda toetatakse, näiteks OpenAI-ga ühilduv stream_options.include_usage.
• Kumulatiivsete pakkujate puhul salvestage sündmuste summeerimise asemel uusim kasutusväärtus.
• Säilitage koondatud vastuseobjektid, kui SDK-d neid pakuvad.
• Jälgige tarnitud väljundit teenusepakkuja arveldatud kasutusest eraldi.
• Ühenduse katkestamisel tühistage ülesvoolu vastavalt marsruudipoliitikale ja märkige klient_katkestatud.
• Kasutage läbipaistvaid arveldusolekuid: lõplik, hinnanguline, kooskõlastamise ootel, pakkuja kooskõlastatud või loobutud.
• Edasta raamatupidamisspetsiifilisi jälgitavuse sündmusi.
• Levitage hiljem teenusepakkuja kasutus- või kuluaruannetega, kui need on saadaval, säilitades samas päringuaegse rentniku omistamise.

Mida üürnikele näidata

Üürnikud ei vaja iga sisemist sündmust, kuid nad vajavad ausaid silte. Kasulik kasutustabel võib näidata:

• Olek: lõplik, hinnanguline või kooskõlastatud.
• Taotlemise tulemus: lõpetatud, klient katkestati, pakkuja viga või lüüsi ajalõpp.
• Edastatud väljund: kliendile saadetud ligikaudne tekst või baidid.
• Arveldatud märgid: teenusepakkuja normaalkasutus, mida kasutatakse kulu jaoks.
• Kohandamine: mis tahes hilisem leppimise delta.

See disain vähendab toe ebaselgust. Kui kasutaja nägi ainult osa vastusest, saab armatuurlaual selgitada, kas teenusepakkuja on juba lõpetanud, kas lüüs tühistati ülesvoolu ja kas tasu on lõplik või hinnanguline.

Soovitused versus ennustused

Soovitused: käsitlege voogesitatud päringuid olekumasinatena, oodake enne täpset arveldamist autoriteetset lõppkasutust, eraldage tarnitud väljund arveldatud kasutusest ja märgistage hinnangulised read ausalt. Pakkuja adapterid peaksid kodeerima pakkujaspetsiifilist kasutussemantikat, selle asemel, et lamendada iga voo üldiseks baidipuhverserveriks.

Prognoos: voogesitusarvestus muutub olulisemaks, kuna mudelid paljastavad rohkem varjatud tööd: arutlusmärgid, vahemällu salvestatud märgi allahindlused, multimodaalne töötlemine, tööriistade kasutamise jäljed ja ohutuspeatused. Lüüsid, mis juba eraldavad teenusepakkuja arveldatud kasutuse kliendi nähtavast väljundist, kohanduvad kergemini kui lüüsid, mis loevad ainult voogesitatud teksti.

Tehtitav järeldus

Kui teie lüüs toetab voogesitust, kontrollige ühte teed juba täna: sundige klient pärast paari esimest tükki lahtiühendamist ja kontrollige pearaamatu rida. Kui see ütleb "edu" koos täpse väljanägemisega märkide arvuga, siis teie analüüs tõenäoliselt valetab.

Parandus seisneb selles, et voogesitust ei tohi loobuda. Säilitage kiire kasutuskogemus, kuid muutke voo lõpetamise, tühistamise, pakkuja vigade, puuduva lõppkasutuse ja vastavusse viimise selgesõnalised raamatupidamisolekud. See annab tootetiimidele reageeriva väljundi, rahastavad meeskonnad kaitstud kulud ja tugimeeskonnad piisavalt tõendeid, et seletada osalisi vastuseid ilma arvamata.

Seotud lugemine

• Iga mudel helistage
• liitumisjälgede, märgiraamatute ja ohutu kasutamise analüüs
OpenAI-ga ühilduva lüüsi ühilduvuslepingu koostamine