関連動画
LLMの可観測性を扱うYouTube動画は実際に少なく、その大半はベンダーによるデモです。また、この分野について発信する実務家の視聴者層も小規模です。最も明快な製品解説と、最も長く詳細な実務家の座談会を選びました。同じトレースの概念を、実際に操作するUIと、経験豊富なエンジニアが議論するシステムという両面から理解できます。
9:21LangChain
LangChainの共同創業者が、LLMのトレース、プロジェクト、データセットを案内します。トークンコスト、レイテンシー、エラー率、フィードバックの集約、単一の検索ステップのスパンを掘り下げる方法を扱います。「すべての呼び出しが1つのスパンである」という記事の説明と、構造化トレースがprint文によるログより優れている理由を、視覚的に最も近い形で確認できます。
このセクションから得られるもの: LangSmithでトレース、プロジェクト、データセットを操作し、トークンコスト、レイテンシー、エラー率、スパンごとの詳細を読み取れます。
視聴または事前に知っておくべきもの: LLM API呼び出しの基礎知識。トレースの概念を理解するためにLangChainの利用経験は必要ありません。
AI Expertの注記: ベンダーによる解説です。製品の宣伝ではなく、トレース、プロジェクト、データセットの概念に注目してください。「すべての呼び出しが1つのスパンである」という考え方は、どのトレース基盤にも応用できます。
2:33:51Hamel Husain
Hamel Husain、Eugene Yan、Brian Bischof、Harrison Chase、Shreya Shankarが、トレース、ログ分析、LLM-as-a-Judge、実際の本番データを確認するためのワークフローに取り組みます。長時間のポッドキャストと同じように、腰を据えて視聴してください。記事の「トレースを確認する」という主張をYouTube上で最も深く掘り下げた動画です。
このセクションから得られるもの: トレース、評価、フィードバック、本番環境のレビューを、LLMシステムの運用ループとして結びつけられます。
視聴または事前に知っておくべきもの: 本番環境でLLMを扱った経験。分析する価値のある実際のトレースとログがあることを前提としています。
AI Expertの注記: 2時間半に及ぶ動画で視聴回数も非常に少ないものの、意図的に選定しています。トレース駆動の評価を同等に詳しく扱う動画はほかにないため、長時間のポッドキャストのように腰を据えて視聴してください。
