モデル崩壊

モデル崩壊（Model Collapse）とは、AIが作ったデータを使って次のAIを学習させる作業を何世代も繰り返すと、モデルの性能が徐々に落ちていく現象です。2024年に学術誌 Nature で報告された研究などで注目されました。

なぜ起きるのか

コピー機で、コピーしたものをさらにコピーし続けると、画像がぼやけて細部が失われるのに似ています。生成AIは、学習データの分布を近似して出力します。この近似には必ず誤差があり、特に まれな事例（分布の端の部分）は、サンプリングで出てきにくいため、生成データでは薄くなります。そのデータで次のモデルを学習すると、さらに端が削られ、出力が平均的でありきたりなものに集まっていきます。これを繰り返すと、多様性が失われ、最終的には意味の乏しい出力になる場合があります。

研究では、初期には少数派の特徴が消え（早期の崩壊）、後の段階で全体が単調になる（後期の崩壊）と整理されることがあります。

具体例

あるサイトの文章を書き手のAIが生成し、そのサイトの文章を集めて別のAIの学習に使う、という循環を想像してください。珍しい言い回しや、専門的で数の少ない話題は、世代を重ねるごとに薄れていきます。画像でも、特徴的な構図や少数派の被写体が減る恐れがあります。

使うときの注意・よくある誤解

• 合成データを使うこと自体が悪いわけではない：合成データは、人間のデータを置き換えずに混ぜ、品質を選別し、検証可能な領域（コードの実行結果や数学の正解判定など）で使えば、実際に有効です。問題になるのは、無選別の生成物だけで再帰的に学習し続けることです。
• 「必ず崩壊する」とも言えない：研究結果は条件付きで、実際の大規模モデルの学習では、元の人間データを残したり、データを厳選したりして対処されています。どの程度の深刻さかは、2026年時点でも議論が続いています。
• 過学習や忘却とは別の問題：特定のデータへの過剰適合や、新しい学習による古い知識の消失とは、原因が異なります。

対策の考え方

• 人間が作ったデータを一定の割合で保持する。
• 生成物を品質や多様性でフィルタリングする。
• 生成データの出所を記録し、再学習に混入する量を把握する。

Web上にAI生成物が増えるほど、生成物を見分ける技術や、クリーンなデータの確保が重要になります。

関連する考え方

合成データの扱い、学習データの品質管理、評価用データの汚染（データ汚染）などと並べて理解すると、データ全体の健全性の問題として見えてきます。