事前学習

事前学習（プレトレーニング）は、AI モデルを作る最初の大きな工程で、特定の用途を想定せず、広く一般的な能力を獲得させる学習です。この段階で得た知識が、あとの調整や応用のすべての土台になります。

しくみ

大規模言語モデルの場合、インターネット上の文章、書籍、論文、プログラムのコードなどを大量に集め、「次に来る語（トークン）を予測する」課題を延々と繰り返します。たとえば「吾輩は猫」の次には「である」が来やすい、と数え切れないほどの例から学ぶうちに、文法、事実、論理のつながり、文体などが重みの中に蓄積されます。正解は文章そのものから取れるので、人が1件ずつ答えを付ける必要がなく、非常に大きな規模で行えます。

これは国語・算数・理科など幅広い基礎教育にあたります。その後に、特定の職業訓練（ファインチューニングや、人の好みに合わせる調整）を行うという構図です。

その後の工程

• 事後学習：指示に従う形式の例を学習させる教師ありファインチューニング（SFT）や、人間のフィードバックによる強化学習（RLHF）などで、対話に適した振る舞いにする。
• 応用時の調整：特定の業務や分野のデータで追加学習する。

事前学習のみを終えたモデルは「ベースモデル」と呼ばれ、質問に答えるより、文章の続きを書く性質が強く出ます。

具体例

• 数兆トークン規模の文章で学習する、といった規模が一般的に語られます（具体的な値はモデルごとに異なり、非公開のことも多い）。
• 数千から数万基の GPU を、数週間から数か月使うような計算が行われます。

使うときの注意・よくある誤解

• 費用が非常に大きいです。 事前学習から行えるのは、限られた企業や研究機関です。多くの利用者は、公開された学習済みモデルを土台に使います。
• 知識の時期が固定されます。 学習データの収集時点より後の出来事は含まれません。これが知識のカットオフです。
• データの内容に影響されます。 偏りや誤り、著作物の扱いなどが課題になります。
• 事前学習で何でもできるわけではありません。 対話の作法や安全性は、後の工程の貢献が大きいです。

関連する考え方

事前学習の規模と性能の関係はスケーリング則で語られます。使われるデータの話は学習データ、学習済みモデルを実際に動かす段階は推論を参照してください。

利用者にとっての意味

モデルの「知識の古さ」や「得意な言語・分野」は、事前学習の内容で大枠が決まります。調整で補える部分もありますが限りがあるため、モデルを選ぶときは、事前学習の時期と、日本語や専門分野への対応を確認するとよいでしょう。