モデルのしくみ 上級
蒸留
Distillation
大きく性能の高いモデル（教師）の出力を手本にして、小さいモデル（生徒）を学習させる手法です。小さく速いモデルに、大きいモデルの能力の一部を移すことができます。
別の呼び方知識蒸留、Knowledge Distillation、モデル蒸留
例社内の分類タスクでは、大型モデルで作ったラベル付きデータを使って小型モデルを蒸留した。
詳しく
- 軽量版・高速版のモデルを作る方法として広く使われています。
- 教師モデルが生成した回答や思考過程を学習データとして使うことがあります。
- 他社のモデルの出力を使って競合するモデルを学習させることは、多くの商用サービスの利用規約で禁止されています。オープンウェイトモデルでも、ライセンスに条件が付いていることがあるため確認が必要です。