基本 初級
ハルシネーション
Hallucination
AIが事実と異なる内容や存在しない情報を、もっともらしく出力してしまう現象です。架空の文献・URL・数値・機能などを作ることがあります。
別の呼び方幻覚、作話
例生成された報告書に実在しない論文が引用されており、ハルシネーションに気づいた。
詳しく
LLM は「もっともらしい次のトークン」を選んで文章を作るため、知らないことや学習データにないことでも、それらしい答えを組み立ててしまうことがあります。
対策としては次のようなものがあります。
- RAG や Web 検索で根拠となる資料を渡し、出典を示させる
- 「わからない場合はわからないと答える」とプロンプトで指示する
- 数値・固有名詞・法律や医療に関わる内容は人が一次情報で確認する
- 評価（eval）で誤答の傾向を継続的に測る
推論モデルや検索機能の普及で減ってはいますが、なくなってはいません。
あわせて知りたい言葉
- RAG（検索拡張生成）質問に関係する文書を検索で取り出し、それを LLM に渡してから回答させる仕組みです。モデルが学習していない社内資料や最新情報にもとづいた回答ができます。
- 評価（eval）AI の出力がどれくらい目的に合っているかを、決めたテストケースと基準で測ることです。モデルやプロンプトを変えたときに、良くなったか悪くなったかを判断する根拠になります。
- 学習データの時点モデルの学習に使ったデータがいつまでのものかを示す時点です。それ以降の出来事は、検索や資料を渡さない限りモデルは知りません。
- 大規模言語モデル大量のテキストで学習し、文章の続きを予測することで文章の生成・要約・翻訳・質問応答などをこなすモデルです。ChatGPT、Claude、Gemini などのサービスの中核にあります。