モデルのしくみ 上級
RLHF（人間のフィードバックによる強化学習）
Reinforcement Learning from Human Feedback
人が「どちらの回答が良いか」を評価したデータをもとに、モデルの出力を人の好みや方針に近づける学習方法です。チャット向け LLM を役に立ち、安全に振る舞うよう調整するのに使われてきました。
別の呼び方RLHF、人間のフィードバックによる強化学習
例RLHF の段階で丁寧すぎる回答が好まれた結果、前置きが長くなる傾向が出たと説明されていた。
詳しく
- 一般的な流れは、(1) 複数の回答を人が比較評価する、(2) その評価を予測する報酬モデルを作る、(3) 報酬が高くなるよう LLM を強化学習で調整する、というものです。
- 人の評価の代わりに AI の評価やあらかじめ定めた原則を使う方法（RLAIF など）や、報酬モデルを使わずに好みのデータから直接学習する方法（DPO など）もあります。
- 推論モデルでは、正解を自動で確かめられる問題（数学やコードのテストなど）を使った強化学習も重視されています。