説明可能なAI

説明可能なAI（XAI：Explainable AI）とは、AI がどのような根拠でその出力に至ったのかを、人間が理解できる形で示せるようにする考え方と技術の総称です。ディープラーニングのモデルは、数十億ものパラメータが絡み合って判断するため、開発者でさえ「なぜこの答えなのか」を直接読み取ることができません。この「中が見えない」性質を、ブラックボックス問題と呼びます。

なぜ必要なのか

• 責任の所在：融資の審査や医療診断の補助などで、AI の結果が人の生活に大きく影響する場合、理由を説明できなければ納得も訂正もできません。
• 間違いの発見：理由が見えれば、AI が本来関係ない手がかり（たとえば画像の背景）に頼っていないかを確認できます。
• 法規制・ガバナンス：金融や個人情報の分野では、自動的な判断に対して説明を求める規則や指針があります。
• 信頼と改善：開発者が弱点を把握し、改善する手がかりになります。

主な手法

• もともと解釈しやすいモデルを使う：決定木や線形モデルのように、判断の筋道を追えるモデルを選びます。精度が少し下がることもあります。
• 後から説明をつける：複雑なモデルに対して、入力のどの部分が結果に強く効いたかを推定します。画像なら注目した領域を色で示すヒートマップ、表データなら各項目の寄与度を示す SHAP や LIME などが有名です。
• 言葉で理由を述べさせる：LLM に「理由を説明して」と頼む方法です。

具体例

ローン審査の AI が「否決」と判定したとき、「年収に比べて借入額が多いこと」と「返済の遅れが過去にあること」が主な要因だった、と示せれば、本人は何を改善すべきか分かります。

注意点とよくある誤解

• LLM の自己説明は真の理由とは限らない：モデルが述べた理由が、実際の内部処理を反映しているとは保証されません。もっともらしい後付けの説明になることがあります。これは、思考の連鎖（chain-of-thought）の出力にも当てはまり、研究が続いています。
• 説明は精度とのトレードオフになることがある：分かりやすさを優先して、複雑なモデルをあきらめる判断もあります。
• 説明が出れば正しいわけではない：理由が示されても、その理由自体が偏っていたり誤っていたりする場合があります。
• 誰に向けた説明かで形が違う：開発者向け、専門家向け、利用者向けでは、必要な詳しさが異なります。

関連する考え方

ai-bias の検証、evals による評価、guardrails による制御は、いずれも信頼できる AI を作るための仲間の取り組みです。