学習データ

学習データは、モデルがパターンを身につけるための教材です。AI は人が書いたルールで動くのではなく、教材から規則性を引き出して能力を得るため、教材の中身がそのまま性能や癖に表れます。

どんなものが使われるか

• 大規模言語モデル：Web ページ、書籍、論文、百科事典、プログラムのコードなど。
• 画像生成モデル：画像と、それに付けられた説明文（キャプション）の組。
• 音声モデル：音声と書き起こしの組。
• 調整用：人が書いた質問と理想の回答、人による出力の比較評価など。

量が多いだけでなく、質も重要です。重複や低品質な文章を取り除き、バランスを整える前処理が、性能に大きく影響します。また、実際のデータが足りない分野では、AI で作った合成データを併用する方法もあります。

たとえ話

料理人の修業に似ています。どんな料理を、どれだけ食べ、作ってきたかで腕前や得意な味が決まります。和食ばかり学んだ人は和食に強く、偏った環境で育てば偏った味付けになります。

具体例

• 日本語のデータが少ないモデルは、日本語の細かいニュアンスに弱くなりやすい。
• 古い時点までのデータで学習したモデルは、最近の出来事を知らない（知識のカットオフ）。
• 特定の属性に偏った写真で学習した顔認識は、他の属性で精度が落ちる。

使うときの注意・よくある誤解

• 著作権・個人情報の問題があります。 学習データに他者の著作物や個人情報が含まれることへの懸念から、各国で議論や訴訟が続いています。扱いは国や地域、サービスの規約で異なります。
• 入力した内容が学習に使われるかは、サービスにより異なります。 利用規約やデータの取り扱い設定を確認します。法人向けのプランでは、学習に使わないと明記されることが多いです。
• 学習データの全容は、多くの場合、非公開です。 概要が公表されるだけのことも珍しくありません。
• 生成物が学習データそのままとは限りません。 モデルは記憶ではなく統計的なパターンを持ちますが、まれに元の内容に近い出力が出る場合も報告されています。
• AI の出力を再び学習に使い続けると、質が下がる恐れがあります。 これはモデル崩壊と呼ばれる現象です。

関連する考え方

データの偏りは AI バイアスの主な原因です。学習データが評価用の問題に混ざるデータ汚染は、ベンチマークの信頼性を損ないます。

自分でデータを用意する場合

社内の文書で追加学習や検索を行う場合も、同じ原則が働きます。重複や古い版を整理し、機密情報や個人情報を除き、誰が内容に責任を持つかを決めておくと、後の品質管理が容易になります。