Инженерия контекста: управление окнами в 1M токенов без деградации контекста — видео к статье

Chroma

Келли Хонг проходит по исследованию Chroma на 18 моделях — почему оценки needle-in-haystack обманчивы, как качество деградирует при неоднозначности и отвлекающих факторах, почему даже простые задачи на повторение строк деградируют после 500 токенов. Кратко, доказательно и ровно та позиция, к которой статья хочет, чтобы вы отнеслись всерьёз, прежде чем переходить к инженерным ходам.

Что вынести из этого видео: Понять, как длинный контекст может давать сбои при неоднозначности и отвлекающих факторах, и проектировать тесты с учётом этого риска.

Что посмотреть или знать заранее: Ничего сверх базовой терминологии LLM — это короткий доклад по исследованию.

LangChain

Фреймворк Лэнса Мартина — write, select, compress, isolate — с конкретными примерами того, когда нужно суммировать историю действий, когда выгружать состояние в файлы, а когда запускать суб-агентов исключительно ради защиты контекста родителя. Ложится почти напрямую на раздел статьи про управление окнами в 1M токенов на практике.

Что вынести из этого видео: Применять приёмы write, select, compress и isolate, чтобы осознанно управлять контекстом агента.

Что посмотреть или знать заранее: Опыт разработки или эксплуатации агентов с длинными, продолжительными сессиями контекста.