タグ: ハルシネーション

  • ハルシネーション ー AIの「もっともらしい嘘」に2回ひっかかってから付き合い方を変えた

    ハルシネーション ー AIの「もっともらしい嘘」に2回ひっかかってから付き合い方を変えた


    「やけに堂々と間違えるな、この人…」

    AIを使い始めた最初の週、私はChatGPT時代から数えて2回、見事に騙された。

    1回目は、ある法律の条文番号を聞いたら実在しない条文を返してきた。書きぶりがあまりに堂々としていて、私は何の疑いもなく職場のメモに転記した。後日、同僚から「その第何条、どこにあるんですか」と聞かれて初めて気づいた。
    2回目は、ある書籍のタイトルと出版社を尋ねたら、ありそうな書名と実在の出版社をセットで返してきた。書名で検索したら一件もヒットしない。出版社のサイトでも見つからない。AIの中だけに存在する本だった。

    これがハルシネーションだ。中世の城下町で「あそこの井戸の底に金貨が埋まってる」と自信満々に語る吟遊詩人みたいなもので、節回しが立派なほど信じてしまう。

    💡 ハルシネーション(hallucination)とは、AIが事実と違うことを、もっともらしい言い回しで生成してしまう現象のこと。「幻覚」と訳されるが、AIが幻を見ているわけではなく、統計的に「次に来そうな単語」をつなげた結果、内容まで創作してしまった状態を指す。


    結論マップ(ビフォー/アフター)

    場面知る前の私知った後の私
    法律・制度の質問そのままメモに転記出典を聞き返す or 自分で公式サイトで照合
    書籍・論文の引用書名・著者をそのまま信じる検索で1件もヒットしないなら疑う
    「最新の〇〇は?」即答を鵜呑み「いつ時点の情報?」と必ず聞き返す

    「Claudeに聞いたから」をその場の最終決定にしない。これだけで2回目の同僚チェックを生き延びられる。


    ハルシネーションって、要は何

    Anthropic公式のヘルプセンターには、Claudeの回答が間違うことについてはっきり書いてある。要点を引くと、こうだ。

    In an attempt to be a helpful assistant, Claude can occasionally produce responses that are incorrect or misleading. This is known as “hallucinating” information.
    (役に立とうとするあまり、Claudeはときどき不正確だったり誤解を招く回答を返すことがある。これを「ハルシネーション」と呼ぶ)

    そして、起こる典型的なパターンとして公式は2つ挙げている。

    1. 最新情報に追いついていない場面:訓練データのカットオフより後の出来事を聞かれると、Claudeは混乱しやすい。
    2. 権威ありげな引用の捏造:実在の本・論文・条文に見える引用を生成してしまうことがある。「もっともらしく見えるが、根拠がない」のが厄介な特徴。

    IPA(独立行政法人情報処理推進機構)の「AI利用者のためのセキュリティ豆知識」(2025年12月版)にも、生成AIの仕組みとして「情報の正しさを検証しているのではなく、統計的に次に続く確率が高い単語をつなげて文章を作る」と整理されている。事実より文章の自然さを優先する仕組みなので、精巧な嘘ほど作りやすいということになる。


    やってみるとこうなる:私の実例2件

    ケースA:架空の条文事件
    私「〇〇法の第◯条、どんな内容?」
    AI「第◯条は、…と定められています。実務では…の運用が一般的です」
    → 同僚に確認されて再検索。条文番号自体が存在しなかった。条文のあるべき形式(「〜について次の各号に掲げるとおりとする」みたいな言い回し)はそれっぽかったのに、中身は0%実在しなかった。

    ケースB:架空の書籍事件
    私「家計管理の入門書でおすすめは?」
    AI「『はじめての家計簿』(〇〇出版・著者×××・2019年刊)が定番です」
    → 出版社のサイトに該当書籍が無い。著者名で検索しても別人しか出てこない。書名・著者・出版社・年がバラバラに正しいけど、組み合わさった本は実在しない

    どちらも共通していたのは、「自信のある言い切り」「具体的な固有名詞」「もっともらしい背景説明」がセットになっていた点だった。AIが断定的に語るときほど、中身を疑った方がいい、というのが私の学習結果。


    公式が勧めている付き合い方(プロンプト編)

    Anthropicのプロンプトエンジニアリングガイド(”Reduce hallucinations”)には、ハルシネーションを減らすための工夫がいくつか紹介されている。私が試して効いたのは、次の3つだった。

    1. 「分からない」と言ってよいと先に伝える

    回答に確信が持てない場合は、「分かりません」と答えてください。
    推測で具体的な数字や固有名詞を埋めないでください。

    このひと言を冒頭に足すだけで、雰囲気で答えてくる頻度が減る。Anthropic公式も “Allow Claude to say “I don’t know”” として推奨している。

    2. 出典を一緒に出させる

    家計簿アプリで使える日本の家計調査の公的データを教えてください。
    - 各データについて、出典(公的機関名・URL)を一緒に明記してください。
    - URLが思い出せない場合は、データ名と発行機関のみを書き、URLは「不明」と明記してください。

    「URLを必ず書け」だけだと、URLまで創作される。「分からないなら不明と書け」までセットで指示するのがコツだった。

    3. 引用は原文のまま抜くよう頼む

    長い文書を渡してClaudeに要約させるとき、「まず該当箇所を原文ママで引用してから、要約してください」と頼むだけで、根拠のない言い換えが目に見えて減る。Anthropic公式もlong documents向けの定番手順として紹介している手法。


    ここで止まりそうなポイント

    • 「Claudeに聞いた」を出典にしない:高校の先生に教わった「孫引きはダメ」がそのまま当てはまる。Claudeが見せてくれたURLは、自分で開いて中身を確認するまで存在を信じない
    • 断定形ほど疑う:「〜です」「〜が定番です」と歯切れがいいときほど一拍置く。逆に「〜の可能性があります」「公開情報では確認できませんでした」と濁してくれたら、それはちゃんと不確実性を伝えている良い兆候
    • 最新情報はAIに聞かない方が早い:Claudeには知識のカットオフがある。「今月の〇〇は?」「昨日のニュースで…」みたいな質問は、Web検索を有効にするか、自分で公式サイトを開いた方が確実
    • 法律・医療・金銭はダブルチェック前提:公式も “should carefully scrutinize any high-stakes advice”(重要な助言は慎重に精査せよ)と書いている。AIは下書きや整理係として優秀だが、最終確認はAIにさせない

    まとめ

    ハルシネーションは「AIが時々起こす不具合」ではなく、今のAIの仕組みそのものに組み込まれた性質だ。完全には消えない。だから「無くす」方を目指さず、気づける側に立つのを目指すのが現実的な落とし所だった。

    私がこの2週間で身についたのは、ほんとに小さな3つだけ。断定形を一拍疑う/出典をセットで出させる/重要なことは自分で1ソース照合する。これだけで、職場のメモを書き直す回数がだいぶ減った。

    IPAの豆知識ページに、AIの付き合い方として「発展途上の新人だと思って使いましょう」という言い回しがあって、私はこれが一番しっくりきた。新人は素直で物覚えがよくて頼りになるけど、重要な書類のサインまでは任せない。AIとの距離感も、いまのところ、それくらいでちょうどいい。


    関連リンク(一次情報)