本番AIの失敗モード：デモの後に何が壊れるのか — 関連動画

MLOps.community

ProsusのAI担当VPとAIエンジニアが、グループの投資先企業にエージェントを導入した際、実際に何が壊れたかを報告します。本番前のプロンプトインジェクション侵入テスト、人間特有の略記をJiraエージェントが処理できずに発生した危険な書き込み、エージェント自身に前提を明示させて対処した古いコンテキスト、認知負荷を増やすエージェントを統合または停止するフォールバック設計を扱います。記事の障害モード台帳を、実際の事後検証として再現したような内容です。

このセクションから得られるもの: 自社のエージェントが最初に直面する障害モードを把握し、それぞれに対するテスト、フォールバック、停止基準を事前に計画できます。

視聴または事前に知っておくべきもの: LLMエージェント、ツール呼び出し、基本的な本番監視についての知識が必要です。記事の障害モード台帳を見取り図として活用してください。