生成AIは士業の書類作成やリサーチを大きく効率化する一方で、事実と異なる内容をもっともらしく生成してしまう「ハルシネーション」という現象がたびたび指摘されている。結論から言えば、士業がハルシネーションによる誤情報を顧客に伝えてしまうリスクを避けるには、生成AIの回答を最終判断の材料ではなく「たたき台」として扱い、必ず一次情報と照合する体制を事務所内に整えておくことが欠かせない。
生成AIの「ハルシネーション」とは何か
ハルシネーションとは、生成AIが事実に基づかない情報を、あたかも正しいかのように自然な文章で出力してしまう現象を指す。実際には存在しない条文や判例、実際の制度とは異なる数値をもっともらしく提示することがあり、文章としての完成度が高いために利用者が誤りに気づきにくいという特徴がある。生成AIは大量のテキストから「もっともらしい」表現を統計的に組み立てる仕組みであり、事実確認の機能を本質的には持たない点を理解しておく必要がある。
士業業務でハルシネーションが引き起こす具体的リスク
士業がハルシネーションの影響を受けやすい理由は、扱う情報が専門的であるほど誤りに気づきにくく、なおかつ顧客の生活や事業に直接影響する意思決定の場面で使われやすいためである。以下のような具体的リスクを念頭に置いておきたい。
誤った税法・法令解釈をそのまま提供してしまうリスク
税理士や社労士が顧客からの質問に対する回答として生成AIの出力をそのまま転用すると、実際には存在しない特例や、改正前の古い基準があたかも現行制度であるかのように説明されてしまう可能性がある。顧客がその情報をもとに申告や各種手続きを行った場合、追徴課税や手続きのやり直しなど、実害につながりかねない。
存在しない判例・通達・条文番号を生成してしまうリスク
生成AIに法令や判例の要約を求めると、実在しない判例番号や通達番号をもっともらしく組み合わせて提示することがある。こうした情報を書面やアドバイスの根拠として引用してしまうと、専門家としての信用そのものを大きく損なう事態になりかねない。
顧客対応・契約書類への影響
議事録や提案書、契約書のたたき台に生成AIを使う場合も、固有名詞や金額、日付などの細部が事実と異なる形で生成されることがある。十分なチェックを怠ったまま顧客に提出すれば、信頼関係の毀損や、場合によっては損害賠償請求に発展するおそれもある。
ハルシネーションが起きやすい場面
以下のような場面では、特に生成AIの回答をそのまま信用せず、一次情報での確認を徹底したい。
| 場面 | ハルシネーションが起きやすい理由 |
| 最新の法改正・制度変更に関する質問 | 学習データの時点が古く、最新情報を反映できていない場合がある |
| 細かい条文番号・通達番号の引用 | 存在しない番号や見出しをもっともらしく生成することがある |
| 具体的な数値（税率・控除額・保険料率等）の提示 | 近い数値を組み合わせて誤った数値を作り出すことがある |
| 特定の判例・裁判例の要約 | 類似の事案を混同し、実在しない判例として説明することがある |
防止策
一次情報との照合を必須プロセスにする
生成AIの回答は、国税庁や厚生労働省、e-Gov法令検索といった公的機関の一次情報と必ず照合するルールを事務所内で定めることが重要である。特に税率や控除額、給付金の金額など数値に関する情報は生成AIの回答をそのまま使わず、公式サイトで最新の内容を確認する習慣を徹底したい。
プロンプトの工夫と回答の検証
「不明な場合は不明と答える」「出典を明示できない情報は提示しない」といった指示をプロンプトに含めることで、誤った断定を減らせる場合がある。ただし、これによってハルシネーションを完全になくせるわけではないため、最終的な検証は人が行うという前提を崩さないことが重要である。
事務所内のガイドライン・チェック体制の整備
生成AIの利用範囲、確認手順、責任の所在を明文化したガイドラインを整備し、担当者だけでなく複数人によるダブルチェック体制を設けることが望ましい。実際に起きたトラブル事例を踏まえた注意点は、生成AIを業務で使って起きたトラブル事例に学ぶ、士業事務所が注意すべきポイントでも整理しているので、あわせて参考にしてほしい。
検証記録を残す運用
生成AIの回答をどのように検証し、誰が最終確認を行ったかを記録として残しておくと、後日ハルシネーションに起因するトラブルが発覚した際に、対応の経緯を追跡しやすくなる。特に顧客への重要な回答や書類については、確認者名や確認日、参照した一次情報を記録に残す運用を検討したい。
よくある質問
Q.ハルシネーションはなぜ完全になくすことができないのか。
生成AIは統計的にもっともらしい文章を生成する仕組みであり、事実確認の機能そのものを内蔵しているわけではないためである。モデルの改良により発生頻度を抑える取り組みは進んでいるとされるが、現時点では人による検証を省略できる段階には至っていない。
Q.ハルシネーションが疑われる回答にはどのような特徴があるか。
具体的な条文番号や判例名、数値が示されているにもかかわらず出典が明示されていない回答は注意が必要である。断定的な表現でありながら、複数の生成AIに同じ質問をした際に回答が食い違う場合も、ハルシネーションの可能性を疑うべきサインといえる。
Q.顧客への回答に生成AIを使ったことを伝える必要があるか。
法律上一律に開示が義務づけられているわけではないが、生成AIの回答を確認・加工して提供していることや、最終的な判断は専門家が行っている旨を伝えることは、顧客との信頼関係を維持するうえで有効とされる。
まとめ
生成AIのハルシネーションは、文章としての完成度の高さゆえに気づきにくく、士業業務においては顧客への誤情報提供や専門家としての信用失墜につながりかねないリスクを持つ。生成AIの回答を鵜呑みにせず、一次情報との照合とダブルチェックの体制を事務所内に整えることが、安全に活用するための土台になる。
コメント