Kontekstengineering: håndtering af 1M-tokenvinduer uden kontekstforringelse — ledsagende videoer

Chroma

Kelly Hong gennemgår Chromas research på 18 modeller — hvorfor needle-in-haystack-scores er misvisende, hvordan performance degraderer med ambiguitet og distractors, hvorfor selv simple string-repetition-opgaver degraderer forbi 500 tokens. Kort, evidensbaseret og præcis den sag, artiklen behøver, at du tager alvorligt, før du kommer til engineering-grebene.

Hvad du bør få ud af dette: Forstå, hvordan lang kontekst kan fejle under ambiguitet og distractors, og design derefter tests omkring den risiko.

Forudsætninger: Intet ud over grundlæggende LLM-vocabular — det er et kort research-talk.

LangChain

Lance Martins framework — write, select, compress, isolate — med konkrete eksempler på, hvornår man skal opsummere en action history, hvornår man skal offlade state til filer, og hvornår man skal spinne sub-agenter op udelukkende for at beskytte parentens kontekst. Mapper næsten direkte til artiklens afsnit om at håndtere 1M-tokenvinduer i praksis.

Hvad du bør få ud af dette: Anvend write-, select-, compress- og isolate-mønstre til at håndtere agentkontekst bevidst.

Forudsætninger: Erfaring med at bygge eller drive agenter med langvarig kontekst.