Anthropic je Claude Sporočilom API dodal dve tesno povezani funkciji beta: zgoščevanje pogovorov na zahtevo in urejanje konteksta. Oba sta usmerjena k znani težavi razvijalcev, ki gradijo pomočnike in agente: koristni pogovori pogosto trajajo dlje, kot je proračun praktičnega konteksta modela, zlasti ko se kopičijo klici orodij, pridobljeni dokumenti in večkratna navodila.

Pomembna sprememba je, da Anthropic razvijalcem ne govori samo, naj sami povzamejo stara sporočila. Opombe o izdaji platforme z dne 14. septembra opisujejo pot stiskanja na ravni API, omogočeno prek glave beta compact-2026-09-04, ki vrne podpisan blok stiskanja. Ta blok lahko nadomesti prejšnjo zgodovino pogovorov v kasnejši zahtevi, medtem ko nedavni zavoji ostanejo nedotaknjeni. Anthropic je predstavil tudi urejanje konteksta v različici beta, sprva osredotočeno na samodejno brisanje starejših rezultatov orodij in klicev orodij, ko se pogovor približuje omejitvam žetonov.

Za skupine aplikacij je to uporabna funkcija. Za operaterje prehodov, prodajalce opazljivosti in podjetja, ki normalizirajo promet med ponudniki, je to sprememba protokola. Strnjen Claude pogovor ni več le krajši poziv. Vsebuje podpisano predstavitev predhodnega konteksta, ki jo je ustvaril ponudnik, ki ga je treba ohraniti kot takega.

Kaj se je spremenilo v Claude sporočilih API

Pri običajni dolgotrajni integraciji klepeta imajo razvijalci običajno tri nepopolne možnosti, ko se kontekstno okno zapolni. Lahko izpustijo stare zavoje, ustvarijo lasten povzetek ali prosijo uporabnika, da znova zažene. Vsaka izbira lahko poškoduje kontinuiteto, skrije pomembna navodila ali oteži odpravljanje napak.

Anthropic-ova nova različica beta stiskanja premakne del tega dela v API. API lahko ustvari podpisan zgoščen blok za prejšnjo vsebino pogovora. Kasnejša zahteva lahko nato pošlje ta blok namesto starejših sporočil, pri čemer se novejši pogovor ohrani dobesedno. Zasnova je pomembna, ker razlikuje strnjeno zgodovino od običajnega besedila povzetka, ki ga je napisal pomočnik. Prehod, ki splošči blok v niz, odstrani neznana polja ali ga obravnava kot običajno uporabniško sporočilo, lahko pokvari predvideno semantiko.

Urejanje konteksta napade soroden vir rasti žetonov: promet orodij. Agentske aplikacije lahko kopičijo velike rezultate orodij, vmesne klice in zastarela opazovanja. Anthropic pravi, da različica beta na začetku podpira samodejno brisanje rezultatov starejšega orodja in klicev, ko se pogovor približuje omejitvam žetonov. To je smiselno za številne poteke dela, pomeni pa tudi, da je poznejši odziv modela lahko odvisen od stanja pogovora, ki je bilo namerno okrnjeno s pravili na strani ponudnika.

To je še posebej pomembno za ekipe, ki gradijo plast upravljanja AI nad več ponudniki modelov. Sistem upravljanja mora vedeti ne samo, kateri poziv je bil poslan, ampak tudi, kateri deli prejšnjega konteksta so bili ohranjeni, stisnjeni ali odstranjeni.

Zakaj prehodi tega ne morejo obravnavati kot generično povzemanje

Tveganje neposredne implementacije je združljivost. Številni API prehodi in SDK ovoji preverjajo obremenitve zahtev glede na znane sheme. Neznani parametri najvišje ravni bodo morda opuščeni. Bloki neznane vsebine so lahko vsiljeni v besedilo. Cevovodi za beleženje lahko popravijo ali preoblikujejo polja, ki jih ne prepoznajo. To so razumne privzete vrednosti za običajne metapodatke, vendar so nevarne, če je neznani objekt del pogodbe o upravljanju konteksta ponudnika modela.

Prehod, ki pozna Claude, mora ohraniti nov parameter zgoščevanja in podpisane bloke, ne da bi jih prepisal. Prav tako mora jasno razlikovati v sledovih med izvirnimi sporočili, strnjenim kontekstom in nedavnimi nespremenjenimi obrati. To razlikovanje ni akademsko.Ko stranka vpraša, zakaj se je agent odločil, bi morala revizijska sled pokazati, ali je imel model dostop do izvirnega rezultata orodja, strnjene predstavitve ali ne enega ne drugega.

OpenAI-združljivi izdelki prehoda se soočajo z dodatno težavo pri načrtovanju. Ekosistem klepeta in odgovorov v slogu OpenAI ima lastne vzorce upravljanja konteksta, vključno s stanjem gostujočega posrednika in obravnavo sej, specifičnih za ponudnika. Podpisani zgoščeni blok Anthropic je drugačen semantični objekt. Eno samo generično polje, imenovano »povzetek« ali »pomnilnik«, ne bo zadostovalo, če mora sistem ohraniti jamstva ponudnika in vedenje ponovnega predvajanja. Platforme v slogu

Model Gate, ki podpirajo usmerjanje, združljivo z OpenAI, in API-je v slogu Anthropic, bodo zato morda potrebovale kontekstne adapterje, specifične za ponudnika. To ne pomeni, da vsaka stranka vidi zapletenost. To pomeni, da bi moral prehod izpostaviti stabilno zunanjo izkušnjo, hkrati pa ohranjati semantiko zgoščevanja Anthropic znotraj nedotaknjeno.

Analitika, zaračunavanje in revizijske sledi postanejo bolj zapletene

Opombe k izdaji ne povedo, ali se podpisani bloki zgoščevanja zaračunavajo drugače kot običajno besedilo sporočila. Ta nerešena točka je pomembna. Če se strnjeni blok šteje kot kateri koli drug vnos, ga sistemi za obračunavanje lahko obravnavajo kot drugo komponento zahteve, ki nosi žeton. Če Anthropic uporabi drugačno obračunavanje, bodo morali prehodi to razliko jasno predstaviti v računih strank in izvozih uporabe.

Tudi brez posebnih cen zgoščevanje spremeni način razlage analitike. Pogovor je lahko na ravni sporočila videti krajši, vendar ima še vedno učinek veliko daljše predhodne izmenjave. Grafi osnovnih žetonov ne bodo odgovorili na vprašanja, kot so: koliko prvotnega konteksta je bilo stisnjenega, koliko nedavnega konteksta je ostalo dobesedno, kako pogosto je bilo zgoščevanje priklicano in ali so napake povezane s samodejno počiščenimi izhodi orodij.

Ta vprašanja sodijo v AI API nadzorno ploščo analitike uporabe in ne zakopana v neobdelanih dnevnikih. Podjetniški kupci vedno bolj pričakujejo, da bodo videli stroške, obnašanje modela in uporabo orodja v istem operativnem pogledu. Zgoščevanje pogovorov temu pogledu doda še en prehod stanja.

Obstaja tudi kot skladnosti. Če regulirana stranka vpraša, katere informacije so bile na voljo pomočniku v določenem času, operater ne more odgovoriti samo s končnim telesom zahteve, razen če razume verigo stiskanja. Podpisani bloki lahko pomagajo ohraniti celovitost, vendar ne odpravijo potrebe po skrbnih pravilih hrambe, strankam vidnih sledeh in notranjih orodjih za odpravljanje napak.

Kdo naj ukrepa zdaj

Razvijalci, ki uporabljajo neposredno Claude, morajo pregledati, ali njihova SDK, proxy ali vmesna programska oprema za beleženje prehaja glave beta, parameter stiskanja na najvišji ravni in vrnjene bloke stiskanja nespremenjeno. Preizkusiti bi morali tudi vedenje pri napakah, ko se bloki zgoščevanja ponovno predvajajo med uvedbami, regijami ali zahtevami preoblikovanja.

Skupine prehodov bi morale dodati pokritost sheme, preden stranke naletijo na tiho poslabšanje. Minimalno praktično delo je, da prenehate opuščati ali prepisovati nova polja. Boljša različica je ločeno označevanje strnjenega konteksta v dnevnikih, sledeh in zapisih o uporabi. Za ekipe, ki že zagotavljajo poenoteno umetno inteligenco API zaračunavanje, morajo biti dogodki zgoščevanja dovolj vidni, da lahko skupine za podporo uskladijo uporabo žetonov in pojasnijo vedenje dolgih sej.

Podjetja, ki vodijo podporne agente, pomočnike za kodiranje, raziskovalna orodja ali prodajne kopilote, bi morala to obravnavati kot funkcijo zanesljivosti s posledicami upravljanja. Zgoščevanje lahko naredi dolge pogovore trajnejše, hkrati pa uvede še eno skrito plast med vidnim zapisom klepeta in dejanskim stanjem vnosa modela.

Odprta vprašanja so še vedno pomembna. Anthropic ni povedal, ali bloki stiskanja spremenijo obračunavanje zaračunanih žetonov. Prav tako ni zagotovljena dolgoročna stabilnost glave beta.In ker se urejanje konteksta na začetku osredotoča na starejše klice orodij in rezultate, bodo morali razvijalci preveriti, kako dobro se privzete nastavitve ujemajo s potekom dela, kjer dokazi o starem orodju ostajajo pravno ali operativno pomembni.

Vendar je širša smer jasna. Upravljanje z dolgim ​​kontekstom se seli iz aplikacijske lepilne kode v API-je ponudnika. Prehodi, ki želijo zanesljivo sedeti med strankami in ponudniki modelov, morajo zdaj to gibanje podpirati na ravni protokola, ne le s posredovanjem krajših pozivov.