Anthropic je API-ju Claude Messages dodal dve tesno povezani funkciji beta: zgoščevanje pogovorov na zahtevo in urejanje konteksta. Oba sta usmerjena k znani težavi razvijalcev, ki gradijo pomočnike in agente: koristni pogovori pogosto trajajo dlje, kot je proračun praktičnega konteksta modela, zlasti ko se kopičijo klici orodij, pridobljeni dokumenti in večkratna navodila.

Pomembna sprememba je, da Anthropic razvijalcem ne govori le, naj sami povzemajo stara sporočila. Opombe o izdaji platforme z dne 14. septembra opisujejo pot stiskanja na ravni API-ja, omogočeno prek glave beta compact-2026-09-04, ki vrne podpisan blok stiskanja. Ta blok lahko nadomesti prejšnjo zgodovino pogovorov v kasnejši zahtevi, medtem ko nedavni zavoji ostanejo nedotaknjeni. Anthropic je predstavil tudi urejanje konteksta v različici beta, sprva osredotočeno na samodejno brisanje starejših rezultatov orodij in klicev orodij, ko se pogovor približuje omejitvam žetonov.

Za skupine aplikacij je to funkcija uporabnosti. Za operaterje prehodov, prodajalce opazljivosti in podjetja, ki normalizirajo promet med ponudniki, je to sprememba protokola. Strnjen Claudov pogovor ni več le krajši poziv. Vsebuje podpisano predstavitev predhodnega konteksta, ki jo je ustvaril ponudnik in ga je treba ohraniti kot takega.

Kaj se je spremenilo v API-ju Claude Messages

Pri običajni dolgotrajni integraciji klepeta imajo razvijalci običajno tri nepopolne možnosti, ko se kontekstno okno zapolni. Lahko izpustijo stare zavoje, ustvarijo lasten povzetek ali prosijo uporabnika, da znova zažene. Vsaka izbira lahko poškoduje kontinuiteto, skrije pomembna navodila ali oteži odpravljanje napak.

Nova različica beta zgoščevanja Anthropic premakne del tega dela v API. API lahko ustvari podpisan blok zgoščevanja za prejšnjo vsebino pogovora. Kasnejša zahteva lahko nato pošlje ta blok namesto starejših sporočil, pri čemer se novejši pogovor ohrani dobesedno. Zasnova je pomembna, ker razlikuje strnjeno zgodovino od običajnega besedila povzetka, ki ga je napisal pomočnik. Prehod, ki splošči blok v niz, odstrani neznana polja ali ga obravnava kot običajno uporabniško sporočilo, lahko prekine predvideno semantiko.

Urejanje konteksta napade soroden vir rasti žetonov: promet orodij. Agentske aplikacije lahko kopičijo velike rezultate orodij, vmesne klice in zastarela opazovanja. Anthropic pravi, da različica beta na začetku podpira samodejno brisanje rezultatov in klicev starejših orodij, ko se pogovor približa omejitvam žetonov. To je smiselno za številne poteke dela, vendar pomeni tudi, da je kasnejši odziv modela lahko odvisen od stanja pogovora, ki je bilo namerno okrnjeno s pravili na strani ponudnika.

To je še posebej pomembno za ekipe, ki gradijo plast upravljanja AI nad več ponudniki modelov. Sistem upravljanja mora vedeti ne le, kateri poziv je bil poslan, ampak tudi, kateri deli prejšnjega konteksta so bili ohranjeni, stisnjeni ali odstranjeni.

Zakaj prehodi tega ne morejo obravnavati kot generično povzemanje

Neposredno tveganje implementacije je združljivost. Številni prehodi API-jev in ovoji SDK preverjajo obremenitve zahtev glede na znane sheme. Neznani parametri najvišje ravni bodo morda opuščeni. Bloki neznane vsebine so lahko vsiljeni v besedilo. Cevovodi za beleženje lahko popravijo ali preoblikujejo polja, ki jih ne prepoznajo. To so razumne privzete vrednosti za običajne metapodatke, vendar so nevarne, če je neznani objekt del pogodbe o upravljanju konteksta ponudnika modela.

Claude-aware prehod bi moral ohraniti nov parameter zgoščevanja in podpisane bloke, ne da bi jih prepisal. Prav tako mora jasno razlikovati v sledovih med izvirnimi sporočili, strnjenim kontekstom in nedavnimi nespremenjenimi obrati. To razlikovanje ni akademsko. Ko stranka vpraša, zakaj se je agent odločil, bi morala revizijska sled pokazati, ali je imel model dostop do izvirnega rezultata orodja, strnjene predstavitve ali ne enega ne drugega.

Izdelki prehodov, združljivi z OpenAI, se soočajo z dodatno težavo pri oblikovanju. Ekosistem za klepet in odzive v slogu OpenAI ima lastne vzorce upravljanja konteksta, vključno s stanjem gostujočega agenta in obravnavo sej, specifičnih za ponudnika. Predznačeni zgoščeni blok Anthropic je drugačen pomenski objekt. Eno samo generično polje, imenovano »povzetek« ali »pomnilnik«, ne bo zadostovalo, če mora sistem ohraniti jamstva ponudnika in vedenje ponovnega predvajanja.

Platforme v slogu modela Gate, ki podpirajo usmerjanje, združljivo z OpenAI, in API-je v slogu Anthropic, bodo zato morda potrebovale kontekstne adapterje, specifične za ponudnika. To ne pomeni, da vsaka stranka vidi zapletenost.To pomeni, da bi moral prehod izpostaviti stabilno zunanjo izkušnjo, hkrati pa ohranjati semantiko zgoščevanja Anthropic nedotaknjeno v notranjosti.

Analitika, zaračunavanje in revizijske sledi postanejo bolj zapletene

Opombe k izdaji ne povedo, ali se podpisani bloki zgoščevanja zaračunavajo drugače kot običajno besedilo sporočila. Ta nerešena točka je pomembna. Če se strnjeni blok šteje kot kateri koli drug vnos, ga sistemi za obračunavanje lahko obravnavajo kot drugo komponento zahteve, ki nosi žeton. Če Anthropic uporablja drugačno računovodstvo, bodo morali prehodi to razliko jasno predstaviti v računih strank in izvozih uporabe.

Tudi brez posebnih cen zgoščevanje spremeni način razlage analitike. Pogovor je lahko na ravni sporočila videti krajši, vendar ima še vedno učinek veliko daljše predhodne izmenjave. Grafi osnovnih žetonov ne bodo odgovorili na vprašanja, kot so: koliko prvotnega konteksta je bilo stisnjenega, koliko nedavnega konteksta je ostalo dobesedno, kako pogosto je bilo zgoščevanje priklicano in ali so napake povezane s samodejno počiščenimi izhodi orodij.

Ta vprašanja sodijo na nadzorno ploščo za analizo uporabe API-ja AI in ne na zakopana. v surovih hlodih. Podjetniški kupci vedno bolj pričakujejo, da bodo videli stroške, obnašanje modela in uporabo orodja v istem operativnem pogledu. Zgoščevanje pogovorov temu pogledu doda še en prehod stanja.

Obstaja tudi kot skladnosti. Če regulirana stranka vpraša, katere informacije so bile na voljo pomočniku v določenem času, operater ne more odgovoriti samo s končnim telesom zahteve, razen če razume verigo stiskanja. Podpisani bloki lahko pomagajo ohranjati celovitost, vendar ne odpravijo potrebe po skrbnih pravilih hrambe, strankam vidnih sledeh in notranjih orodjih za odpravljanje napak.

Kdo bi moral ukrepati zdaj

Razvijalci, ki uporabljajo Claude neposredno, bi morali pregledati, ali njihov SDK, proxy ali vmesna programska oprema za beleženje prehaja glave beta, parameter zgoščevanja na najvišji ravni in vrnjene bloke zbijanja nespremenjene. Preizkusiti bi morali tudi vedenje pri napakah, ko se bloki zgoščevanja ponovno predvajajo med uvedbami, regijami ali preoblikovanjem zahtev.

Ekipe prehodov bi morale dodati pokritost sheme, preden stranke naletijo na tiho degradacijo. Minimalno praktično delo je, da prenehate opuščati ali prepisovati nova polja. Boljša različica je ločeno označevanje strnjenega konteksta v dnevnikih, sledeh in zapisih o uporabi. Za ekipe, ki že zagotavljajo poenoteno zaračunavanje API-ja AI, morajo biti dogodki zgoščevanja dovolj vidni, da lahko skupine za podporo uskladijo uporabo žetonov in razložijo vedenje dolgih sej.

Podjetja, ki vodijo podporne agente, pomočnike za kodiranje, raziskovalna orodja ali prodajne kopilote, bi morala to obravnavati kot funkcijo zanesljivosti s posledicami upravljanja. Zgoščevanje lahko naredi dolge pogovore trajnejše, hkrati pa uvede še eno skrito plast med vidnim zapisom klepeta in dejanskim stanjem vnosa modela.

Odprta vprašanja so še vedno pomembna. Anthropic ni povedal, ali kompaktni bloki spreminjajo obračunavanje žetonov. Prav tako ni zagotovljena dolgoročna stabilnost glave beta. In ker se urejanje konteksta na začetku osredotoča na starejše klice in rezultate orodij, bodo morali razvijalci preveriti, kako dobro se privzete nastavitve ujemajo s potekom dela, kjer dokazi o starem orodju ostajajo pravno ali operativno pomembni.

Vendar je širša smer jasna. Upravljanje z dolgim ​​kontekstom se seli iz aplikacijske kode v API-je ponudnika. Prehodi, ki želijo zanesljivo sedeti med strankami in ponudniki modelov, morajo zdaj to gibanje podpirati na ravni protokola, ne le s posredovanjem krajših pozivov.