非エンジニアのための評価：AIワークフローが改善しているか悪化しているかを把握する — 関連動画

Lenny's Podcast

Hamel HusainとShreya Shankarが、実際の不動産管理AIアシスタントを使って評価ワークフロー全体を解説します。トレースの確認、エラーのオープンコーディングとアキシャルコーディング、作業を終了するタイミングの判断、LLM-as-a-judgeの構築、人間の判断に照らした検証まで扱います。MLエンジニアではなく、プロダクトマネージャーやチームリーダーを真に対象とする貴重な長編対談であり、記事が推奨する「セットアップ後は週30分」という進め方にも対応しています。

このセクションから得られるもの: トレースを調べ、失敗を分類し、基準を定義し、変更をテストし、人間の判断と比較する、プロダクト開発者向けの評価ループを学べます。

視聴または事前に知っておくべきもの: 時間の経過とともに品質が改善または悪化し得るAIワークフローが少なくとも1つ必要です。

Anthropic

Workbench内で実際の評価を行う方法をAnthropicが3分で解説します。現実的なテストケースの自動生成、出力の採点、プロンプトの調整、同じテスト一式の再実行と並列比較を扱います。視聴回数は通常の基準を下回りますが、「コードを書かずに実際にどう評価するのか」を示す最も分かりやすい公式デモです。より戦略的なHusainとShankarの対談を適切に補完します。

このセクションから得られるもの: 再現可能なプロンプト評価をコードなしで行う最小構成を確認できます。

視聴または事前に知っておくべきもの: プロンプト編集の基本経験と、コンソールやWorkbenchなどの評価環境へのアクセスが必要です。