関連動画

コンテキストエンジニアリング:コンテキスト劣化を避けて100万トークンのウィンドウを管理する — 関連動画

この記事では、「モデルが100万トークンに対応している」ことと「モデルが100万トークンを確実に活用できる」ことの隔たりを扱います。失敗パターン、コンテキストエンジニアリングの4つの手法(書き出す、選択する、圧縮する、分離する)、長時間稼働するセッションを実用的に保つための予算について解説します。以下の2本の動画は、1本目が問題を、2本目が解決策を最も明確に説明しています。

主な選択肢

7:56
コンテキスト劣化:入力トークンの増加がLLM性能に与える影響

Chroma

Kelly Hongが18のモデルを対象としたChromaの研究を解説します。needle-in-a-haystackテストのスコアが誤解を招く理由、曖昧さや妨害情報によって性能が低下する仕組み、単純な文字列反復タスクでさえ500トークンを超えると性能が落ちる理由を扱います。短く、根拠に基づいており、工学的な対策へ進む前に記事が読者へ真剣に受け止めてほしい問題を的確に示しています。

このセクションから得られるもの: 曖昧さや妨害情報によって長いコンテキストが機能しなくなる仕組みを理解し、そのリスクを踏まえたテストを設計できるようになります。

視聴または事前に知っておくべきもの: LLMの基本用語以外に前提知識はありません。短い研究解説です。

AI Expertの注記: モデル名、価格、機能は急速に変化します。意思決定のパターンを学ぶために活用し、導入前には現在のモデルの挙動を検証してください。

動画ページを開く

あわせて見たい動画

22:06
エージェントのためのコンテキスト設計

LangChain

Lance Martinが「書き出す、選択する、圧縮する、分離する」という枠組みを、具体例とともに解説します。操作履歴を要約するタイミング、状態をファイルへ退避するタイミング、親エージェントのコンテキストを守る目的だけでサブエージェントを起動するタイミングを扱います。実際に100万トークンのウィンドウを管理する記事のセクションと、ほぼそのまま対応しています。

このセクションから得られるもの: 「書き出す、選択する、圧縮する、分離する」というパターンを適用し、エージェントのコンテキストを意図的に管理できるようになります。

視聴または事前に知っておくべきもの: 長時間保持されるコンテキストを使うエージェントの構築または運用経験が必要です。

AI Expertの注記: モデル名、価格、機能は急速に変化します。意思決定のパターンを学ぶために活用し、導入前には現在のモデルの挙動を検証してください。

動画ページを開く