偽の判例引用、捏造された発言、実在しない著者、わずかに誤った税制など、AIの自信に満ちた誤りで初めて痛い目に遭うと、人は重要な教訓を学びます。モデルは混乱したわけでも、調子が悪かったわけでもありません。設計どおりに動作し、たまたまユーザーの質問が誤答を生む種類のものだったのです。
これは仮定の話ではありません。初期の最も有名な事例であるMata v. Avianca（2023年）では、ニューヨークの弁護士2名が、存在しない6件の先例を引用した準備書面を裁判所へ提出しました。ChatGPTが、説得力のある引用文と出典情報まで含めて捏造したものです。その結果、連邦裁判官から制裁を科されました。彼らはもっともらしさを生み出す機械に先例を尋ね、その機械が作るよう設計された、もっともらしい文章を得たのです。
AIに関する数少ないテーマの中でも、これは仕組みの理解が重要なものです。ハルシネーションの仕組みが分かれば、驚かなくなり、被害も避けられます。
正式な用語
「AIが自信満々に誤った回答を生成すること」の一般的な名称は、ハルシネーションです。モデルが何かを見ているわけではないため、この用語は完全には適切ではありません。実際に起きているのは、モデルが流暢で、もっともらしく、誤った文章を生成することです。
実務上の要点を理解しておきましょう。ハルシネーションは一時的な製品不具合だけではありません。もっともらしい言語の生成と、真実の検証との隔たりから生じます。発生を前提に対策を立て、次のモデルが出れば検証不要になるとは考えないでください。
起きる理由
次の単語をうまく予測するため、言語モデルは膨大な言語構造を学習する必要があります。文法、事実、会話のパターン、診療記録と投稿文の違いなどです。質問を受けると、学習したパターンに統計的に合う続きを生成します。
ここに落とし穴があります。内部に「分からない」と警告する装置はありません。モデルは、検証済みの続きを作るのではなく、もっともらしい続きを作るよう訓練されています。一般的なテーマでは学習データに正しい情報が含まれるため、多くの場合、もっともらしさと正しさが重なります。しかし、特殊な訴訟、最近の出来事、無名の人物、正確な数値など、特定の質問について信頼できる情報を見たことがなくても、モデルはもっともらしい回答を生成します。それが単に捏造である場合があります。
実務的に言えば、モデルは起こりそうな続きを生成する強い仕組みを持つ一方、それが真実だと証明する仕組みは弱いのです。一般的な内容では両者が一致しがちですが、特殊、最新、専有、または厳密な内容では食い違います。
自信、洗練された表現、文章の長さを根拠にしてはいけません。誤ったAI回答の方が、正しい原典よりきれいに整形されていることもあります。
ハルシネーションが特に起きやすい場面
現在のAIアシスタントには一貫した傾向があります。次を求めると、ハルシネーションが最も多く発生します。
- 特定の名前、日付、数値、引用。「Xと言ったのは誰か」「Yが出版されたのは何年か」「Zに関する研究を3件引用して」。統計的パターンは引用の形式を生成するのは得意ですが、実際の値は信頼できません。
- 専門的または無名なテーマ。 小規模企業、希少疾患、地域の規制、著名ではない個人など、学習データが乏しいものです。データが少ないほど、「もっともらしい」と「真実」の隔たりは大きくなります。
- 最近の出来事。 モデルには学習データの期限があります。それより後の出来事を尋ねたとき、ウェブを能動的に検索しなければ、「分かりません」と答える（望ましい結果）か、推測します。
- 自社固有の専有情報。 モデルは顧客一覧、コードベース、契約書、社内データを持っていません。それについて尋ねると、そのような情報がおそらくどのようなものかを生成します。
- 数学と厳密な推論。 多段階の算術、単位変換、財務計算など、小さな誤りが連鎖するものです。特に計算機ツールを使える場合、以前より性能は向上しましたが、重大な結果を伴う精度にはまだ十分な信頼性がありません。
傾向に注目してください。信頼できる情報源を与えずに具体的なことを尋ねると、モデルは予測可能な形で失敗します。
ハルシネーションがほとんど問題にならない場面
一方、利用時間の多くを占める広い領域では、モデルは信頼できます。
- 文章の下書きと構成。「事実」は必要ありません。
- 自分の文章の書き換えと編集。 正解の根拠は、自分が与えた文章です。
- 提供した文書の要約。 目の前にある内容を引用し、圧縮できます。
- ブレインストーミングとアイデア創出。 ハルシネーションを起こす「正しい」答えがありません。
- よく知られた概念の説明。 基礎科学、主要な歴史、一般的なプログラミングパターンなど、学習データに十分含まれていたものは、概して確かな領域です。
これらの領域にとどまれば、ハルシネーションで困ることはほぼありません。「特殊な事柄についての具体的事実」の領域に入るなら、発生を予期してください。
自分を守る3つの習慣
落とし穴を避けるのに、機械学習の博士号は必要ありません。必要なのは3つの習慣です。
1. 具体的な主張は最終回答ではなく、出発点として扱う
モデルが名前、日付、数値、出典、規制、引用を示し、その回答が重要なら、検証してください。簡単な検索、原典との照合、「どこで見つけましたか。該当箇所を引用してください」という追加質問で、大半の問題を見つけられます。回答が短く具体的であるほど、確認が重要です。
特に役立つ追加質問は、「これを検証できる情報源と、確認すべき具体的な主張を教えてください」です。回答を証明するものではありませんが、広範な回答を検証用チェックリストに変えられます。
2. 最新性や検証可能性が必要なら検索を使う
主要なAIアシスタントには、すべてウェブ検索モードがあります。ChatGPTには「検索」ボタンがあり、Claudeでは多くのタスクに検索が組み込まれ、Geminiでは標準的に利用できます。時間に左右されることや事実について尋ねるときは有効にしてください。 実際の情報源を引用できるため、モデルの信頼性が大きく高まり、自分で確認できるリンクも得られます。
よくある間違いは、調査の質問に基本モデルを使い、その回答を信用することです。正しい手順は、「新しいチャットを開き、検索を有効にしてから尋ねる」です。余分な操作は1クリックだけです。
3. 記憶を頼らせず、情報源を与える
文書があるなら貼り付けてください。データがあるなら表計算ファイルを添付してください。元のメールがあるなら含めてください。学習内容から思い出すよう求めるより、提供した内容を要約・分析させる方が、モデルの信頼性は劇的に高まります。
弱い例：「エストニアの雇用法では、試用期間についてどのように定められていますか？」
より良い例：「エストニア雇用契約法の試用期間に関する条文を示します［貼り付け］。6か月契約にとって何を意味するか説明してください。」
最初のプロンプトはハルシネーションの罠です。2つ目は実際の文章に基づいているため、モデルは正確さを保てます。
情報源を確認する手順
回答が重要なときは、使用する前に次を行ってください。
- 具体的な主張を強調します。 名前、日付、価格、引用、出典、法的主張、医療上の主張、正確な数値です。
- 検証対象を尋ねます。「回答内のどの主張を検証すべきですか。また、それぞれを検証できる情報源は何ですか？」
- 一次情報を確認します。 要約よりも、公式文書、元の規制、製品ページ、届出書、契約書、原資料を優先します。
- 裏付けのない主張を置き換えます。 すぐに検証できなければ、削除する、不確実と明示する、または質問として書き直します。
- 情報源のリンクを保存します。 後で見た自分が、回答の出所を分かるようにします。
この記事からリンクしている付属チェックリストを使えば、これを短時間の可否判定にできます。
有用な例外：ハルシネーションが問題ないとき
モデルに創作してほしい場合もあります。それが目的そのものです。小説、ブレインストーミング、仮定、テスト用の境界事例、テーマの創造的な変形、「この主張の最悪の形はどのようなものか」というプロンプトなどです。創作ではハルシネーションは欠陥ではなく、機能です。ただし、「もっともらしい会社名を5つ挙げて」（良い用途）と「Xを行う実在企業を5社挙げて」（罠）の違いを意識してください。
モデルのアップグレードについて
平均すれば、新しいモデルは古いモデルよりハルシネーションが少なく、特に一般的なテーマで改善しています。しかし特殊な領域、つまり珍しい事例、最近の出来事、専有情報については、2026年の最高性能モデルでさえ自信満々に捏造します。次のリリースで解決するとは考えないでください。ハルシネーションが存在する構造的な理由は変わっていません。
簡単な安全チェックリスト
AIの回答を信頼する前に、次を確認してください。
- この回答には、名前、日付、数値、引用、出典、法律、価格、医療上の助言、財務上の主張が含まれていますか。
- テーマは最近のこと、専門的、地域限定、専有、または重大な結果を伴うものですか。
- モデルは検索、提供された情報源、データベース、計算機を使いましたか。
- 主張を裏付ける原典の文、表、記録を示せますか。
1または2が「はい」で、3または4が「いいえ」なら、ハルシネーションのリスクがあります。行動する前に検証してください。
要点
ハルシネーションはランダムではなく、予測可能です。特定の名前、日付、数値、無名のテーマ、最近の出来事、非公開データ、厳密な計算に集中します。一方、下書き、書き換え、要約、ブレインストーミング、一般的な概念の説明では、発生しないか、問題になりません。
具体情報を検証し、事実には検索を有効にし、記憶に頼らせず情報源を貼り付ける習慣を身につけてください。この3つを行えば、実際のAIの信頼性は大きく高まります。モデル自身が確実には提供できない検証層を、使い方によって補えるからです。
