モデルのしくみ 中級
ファインチューニング
Fine-tuning
学習済みのモデルに、特定の用途向けのデータを追加で学習させて調整することです。出力の形式や口調、特定分野の判断のしかたをモデルに覚えさせるのに使います。
別の呼び方微調整、追加学習、FT
例問い合わせの分類精度がプロンプトの工夫では頭打ちになったので、過去の対応履歴でファインチューニングした。
詳しく
ファインチューニングは、プロンプトだけでは安定しない出力形式や、社内特有の分類基準などを覚えさせたいときに検討します。一方、最新の知識や頻繁に変わる情報を覚えさせる用途には向かず、その場合は RAG のほうが適しています。
- 全パラメータを更新する方法のほか、LoRA のように一部の追加パラメータだけを学習する軽量な方法がよく使われます。
- 良い学習データ（入力と望ましい出力の組）を用意する手間が最大のコストになりがちです。
- 提供各社が API でファインチューニングを提供している場合と、オープンウェイトモデルを自分で学習する場合があります。
- 効果を確かめるには、学習前後を同じ評価（eval）で比べます。
あわせて知りたい言葉
- RAG（検索拡張生成）質問に関係する文書を検索で取り出し、それを LLM に渡してから回答させる仕組みです。モデルが学習していない社内資料や最新情報にもとづいた回答ができます。
- RLHF（人間のフィードバックによる強化学習）人が「どちらの回答が良いか」を評価したデータをもとに、モデルの出力を人の好みや方針に近づける学習方法です。チャット向け LLM を役に立ち、安全に振る舞うよう調整するのに使われてきました。
- 蒸留大きく性能の高いモデル（教師）の出力を手本にして、小さいモデル（生徒）を学習させる手法です。小さく速いモデルに、大きいモデルの能力の一部を移すことができます。
- 評価（eval）AI の出力がどれくらい目的に合っているかを、決めたテストケースと基準で測ることです。モデルやプロンプトを変えたときに、良くなったか悪くなったかを判断する根拠になります。
- オープンウェイト学習済みモデルの重み（パラメータ）が公開され、ダウンロードして自分の環境で動かせるモデルのことです。データを外部に出さずに使える、自由に追加学習できるといった利点があります。