AI Expert

Kompletterande videor

Kontextutveckling: hantera fönster med 1 miljon token utan kontextförfall – kompletterande videor

Artikeln handlar om skillnaden mellan att modellen stöder 1 miljon token och att modellen använder 1 miljon token tillförlitligt. Den går igenom fellägena, de fyra åtgärderna inom kontextutveckling – skriva, välja, komprimera och isolera – samt budgetarna som håller långvariga sessioner användbara. De här två videorna beskriver problemet respektive lösningarna på tydligast möjliga sätt, i den ordningen.

Förstahandsval

7:56
Kontextförfall: så påverkar fler token i indata en LLM:s prestanda

Chroma

Kelly Hong går igenom Chromas forskning om 18 modeller: varför resultat från nålen-i-höstacken-tester är missvisande, hur prestandan försämras av tvetydighet och distraherande information samt varför till och med enkla uppgifter med upprepning av strängar försämras efter 500 token. Videon är kort, evidensbaserad och ger exakt det argument som artikeln behöver för att du ska ta problemet på allvar innan den går vidare till de tekniska åtgärderna.

Vad du bör få ut av detta: Förstå hur lång kontext kan fallera vid tvetydighet och distraherande information och utforma sedan tester kring den risken.

Titta på eller ha koll på först: Inga utöver grundläggande LLM-terminologi. Det är ett kort forskningsföredrag.

Anteckning från AI Expert: Modellnamn, priser och funktioner förändras snabbt. Använd videon för beslutsmönstret och kontrollera sedan den aktuella modellens beteende innan du inför lösningen.

Öppna videosidan

Värt att titta på

22:06
Kontextutveckling för agenter

LangChain

Lance Martins ramverk – skriva, välja, komprimera och isolera – med konkreta exempel på när en åtgärdshistorik ska sammanfattas, när tillstånd ska flyttas till filer och när underagenter ska startas enbart för att skydda den överordnade agentens kontext. Det motsvarar nästan exakt artikelns avsnitt om hur kontextfönster med 1 miljon token hanteras i praktiken.

Vad du bör få ut av detta: Tillämpa mönstren skriva, välja, komprimera och isolera för att hantera agenters kontext medvetet.

Titta på eller ha koll på först: Erfarenhet av att bygga eller driva agenter med långvarig kontext.

Anteckning från AI Expert: Modellnamn, priser och funktioner förändras snabbt. Använd videon för beslutsmönstret och kontrollera sedan den aktuella modellens beteende innan du inför lösningen.

Öppna videosidan