評価、可観測性、品質
AIの挙動を測定し、リグレッションを検出し、コストとレイテンシーを追跡して、ワークフローを改善し続けます。
8件のコンテンツ (記事3件 · 動画5件)
ここから開始
一覧を見る前に、まずおすすめのコンテンツをいくつかご覧ください。
10 分の読書非エンジニアのための評価:AIワークフローが改善しているか悪化しているかを把握する
AI出力の品質を体系的に測定する評価は、通常、エンジニアリング上の課題として扱われます。しかし、AIワークフローを運用するすべてのチームに必要であり、基本はコードなしでも実践できます。その方法を解説します。
中級者
12 分の読書LLMアプリの可観測性:トレース、コスト、レイテンシー、品質ドリフト
複数ステップのトレース、帰属可能なコスト、プロンプトとモデルのバージョン、評価に基づく品質シグナル、プライバシー管理、ワークロード実績に基づくアラートによって、通常の可観測性をLLM向けに拡張します。
上級者このトピックの他の記事
69 分AIエージェントの現状:本番導入から得た教訓
MLOps.community. ProsusのAI担当VPとAIエンジニアが、グループの投資先企業にエージェントを導入した際、実際に何が壊れたかを報告します。本番前のプロンプトインジェクション侵入テスト、人間特有の略記をJiraエージェントが処理できずに発生した危険な書き込み、エージェント自身に前提を明示させて対処した古いコンテキスト、認知負荷を増やすエージェントを統合または停止するフォールバック設計を扱います。記事の障害モード台帳を、実際の事後検証として再現したような内容です。
上級者
10 分の読書本番AIの失敗モード:デモの後に何が壊れるのか
AIシステムの失敗には、ハルシネーション、古いコンテキスト、過度な迎合、プロンプトインジェクション、危険なツール実行、スキーマドリフト、弱いフォールバックなど、予測可能なパターンがあります。実運用のワークフローを提供するチームのための失敗モード台帳です。
上級者
107 分AI評価がプロダクト開発者の注目スキルである理由|Hamel Husain、Shreya Shankar
Lenny's Podcast. HusainとShankarの対談は、確認の責任者を決め、変更、インシデント、観測された失敗に合わせて確認頻度を設定するという記事の要件を補足します。確認に必要な時間は自分のワークフローに合わせて見積もってください。
中級者
3 分Anthropic Consoleでプロンプトを評価する
Anthropic. Workbench内で実際の評価を行う方法をAnthropicが3分で解説します。現実的なテストケースの自動生成、出力の採点、プロンプトの調整、同じテスト一式の再実行と並列比較を扱います。視聴回数は通常の基準を下回りますが、「コードを書かずに実際にどう評価するのか」を示す最も分かりやすい公式デモです。より戦略的なHusainとShankarの対談を適切に補完します。
中級者
9 分LangSmithを10分で学ぶ
LangChain. LangChainの共同創業者が、LLMのトレース、プロジェクト、データセットを案内します。トークンコスト、レイテンシー、エラー率、フィードバックの集約、単一の検索ステップのスパンを掘り下げる方法を扱います。「すべての呼び出しが1つのスパンである」という記事の説明と、構造化トレースがprint文によるログより優れている理由を、視覚的に最も近い形で確認できます。
上級者
154 分LLMの計測と評価
Hamel Husain. Hamel Husain、Eugene Yan、Brian Bischof、Harrison Chase、Shreya Shankarが、トレース、ログ分析、LLM-as-a-Judge、実際の本番データを確認するためのワークフローに取り組みます。長時間のポッドキャストと同じように、腰を据えて視聴してください。記事の「トレースを確認する」という主張をYouTube上で最も深く掘り下げた動画です。
上級者