生成AIが、もっともらしい嘘（ハルシネーション）を自信満々に答えることがあるのは、単なる不具合ではなく、AIの学習・評価の仕組みに理由があります。OpenAIが公式に発表した研究によると、多くの評価方法では「分からない」と答えるよりも、間違っていても具体的に答えるほうが高く評価されてしまう仕組みになっており、これがハルシネーションを助長する一因とされています。この記事では、OpenAIの公式研究にもとづいて、ハルシネーションが起きる理由と、読者が実践できる向き合い方を紹介します。
なぜこの話が重要なのか
生成AIを仕事や日常生活で使う人が増える一方で、「AIの回答をそのまま信じたら、実は間違っていた」という経験をした人も少なくありません。ハルシネーションがなぜ起きるのかを理解しておくことで、「AIの回答は絶対に正しい」という誤った思い込みを避け、適切な距離感で生成AIを使えるようになります。
基本知識：ハルシネーションとは何か
ハルシネーションとは、生成AIが、事実ではない内容を、あたかも事実であるかのように自信を持って回答してしまう現象を指します。人名や日付、出典など、具体的な情報ほど誤りが混ざりやすいとされています。
OpenAIが説明する2つの原因
OpenAIが公式に発表した研究では、ハルシネーションが起きる理由として、主に2つの点が挙げられています。
1. 事前学習の性質上、避けられない誤りがある
生成AIは、大量の文章から次に来る単語を予測する形で学習します。この学習方法では、文法のような規則性のあるパターンは学習しやすい一方、「特定の人の誕生日」のような、パターンでは予測できない低頻度の事実については、確信を持って生成しても誤ってしまうことがあるとされています。
2. 評価の仕組みが「それらしく答えること」を高く評価してしまう
OpenAIの研究では、多くの評価方法（テストのようなもの）が、正解か不正解かだけで採点される仕組みになっており、「分からない」と答えるよりも、間違っていても具体的に答えたほうが、結果的に高いスコアになりやすいと指摘されています。研究では、これを試験でのヤマ勘に例え、「分からない問題は空欄にするより、当てずっぽうでも埋めたほうが得点が伸びる可能性がある」という状況に似ていると説明しています。
具体例：どんな場面でハルシネーションが起きやすいか
- 実在するかどうか分からない、細かい統計データや固有名詞を尋ねたとき
- 出典や参考文献を具体的に挙げてほしいと頼んだとき
- AIが本来持っていない、最新の情報や個別の事実を尋ねたとき
こうした場面では、AIがもっともらしい情報を作り出してしまう可能性が、他の場面よりも高くなると考えられます。
生成AIの回答を鵜呑みにしないための確認方法
- 固有名詞、日付、数値などの具体的な情報は、別の情報源（公式サイトなど）でも確認する
- 出典や参考文献を挙げてもらった場合は、実際にその出典が存在するか確認する
- 「分からない場合はその旨を伝えてほしい」と、あらかじめAIに依頼しておく
- 重要な意思決定に使う情報は、AIの回答だけで判断せず、人による確認を挟む
OpenAIが示す今後の改善の方向性
OpenAIの研究では、個々のテストに不確実性を評価する項目を追加するだけでは不十分であり、広く使われている評価基準（ベンチマーク）自体を見直す必要があると指摘されています。具体的には、自信を持って間違えた場合の減点を、分からないと答えた場合よりも大きくするなど、評価の仕組み自体を変えていく必要があるとされています。また、OpenAIのモデル仕様（Model Spec）では、不確実な場合は自信満々に間違った情報を答えるよりも、不確実性を示したり、確認を求めたりするほうが望ましいと明記されています。
注意点
- ハルシネーションは、特定のサービスに限った問題ではなく、生成AIという技術全体に共通する課題です。特定のサービスだけを過度に不安視する必要はありません。
- この記事で紹介した内容は、OpenAIの研究にもとづくものです。他の生成AI提供企業も、それぞれ独自の対策を進めている可能性がありますが、この記事では確認できた範囲の情報のみを扱っています。
- 生成AIの回答に誤りがあった場合でも、それは意図的な嘘ではなく、仕組み上避けきれない特性であることを理解したうえで、上手に付き合っていくことが大切です。
よくある質問
Q. ハルシネーションは、今後なくなる可能性はありますか。
A. OpenAIの研究では、評価の仕組み自体を見直すことで、ハルシネーションを減らせる可能性が示唆されています。ただし、事前学習の性質上、完全になくすことは難しいとも説明されており、今後も一定程度は起こりうる特性として理解しておくとよいでしょう。
Q. AIに「分からない場合は分からないと言って」と頼めば、ハルシネーションは防げますか。
A. 完全に防げるわけではありませんが、そのように依頼することで、AIが不確実な情報について、より慎重な回答をする可能性は高まると考えられます。ただし、それでも誤りが含まれる可能性はあるため、重要な情報は別途確認することをおすすめします。
Q. ハルシネーションが起きやすいテーマはありますか。
A. 一般的に、細かい固有名詞や数値、出典など、パターンでは予測しにくい具体的な情報を尋ねる場面で起きやすいとされています。逆に、広く知られている一般的な知識については、比較的誤りが少ない傾向があります。
まとめ
生成AIのハルシネーションは、単なる不具合ではなく、学習方法や評価の仕組みに起因する特性です。OpenAIの研究によると、「分からない」と答えるより「それらしく答える」ほうが評価されやすい仕組みが一因とされています。仕組みを理解したうえで、具体的な情報は別の情報源でも確認する習慣を持つことが、生成AIと上手に付き合うための第一歩です。
次に取るべき行動
普段生成AIに質問する際、固有名詞や数値など具体的な情報については、回答をそのまま使わず、公式サイトなど別の情報源でも確認する習慣をつけてみましょう。
コメント