報酬モデル

報酬モデルとは、AIの回答に対して「どれくらい良いか」を点数で返すように学習させたモデルです。人間の好みや基準を、機械が扱える数値に置き換える役目を持っています。RLHF（人間のフィードバックによる強化学習）の中心的な部品です。

なぜ必要か

文章の良し悪しは、「正解は〇〇」と決めにくいものです。丁寧さ、わかりやすさ、安全性などは、人が見て初めて判断できます。しかし、モデルの調整中に何万回もの回答を人が採点するのは現実的ではありません。そこで、人の判断を真似して採点してくれるモデルを作り、人の代わりにたくさん採点させます。

しくみ

典型的な流れは次のとおりです。

1. 同じ質問に対し、モデルに複数の回答を作らせる
2. 人が「AよりBのほうが良い」と順位をつける
3. 人の順位と合うように、回答に点数を付ける報酬モデルを学習する
4. 対話モデルを、報酬モデルの点数が高くなる方向へ強化学習で調整する

絶対的な点数をつけるより、2つを比べるほうが人にとって簡単で、一貫した判断になりやすいため、比較データがよく使われます。

数学やプログラムのように、答えが正しいか機械的に確かめられる課題では、人の好みを模した報酬モデルの代わりに、正誤の検証結果を直接報酬として使う方法も広がっています。報酬を、最終結果だけでなく途中の推論の各段階に与える「プロセス報酬モデル」という考え方もあります。

具体例

同じ質問への2つの回答のうち、根拠が明確で簡潔な方が高得点になるように学習すると、調整後のモデルも、そのような回答を出しやすくなります。

使うときの注意・よくある誤解

• 報酬モデルは人の判断の近似であり、完全ではありません。調整する側のモデルが、報酬モデルの弱点を突いて、内容が伴わないのに高得点を取るような回答を覚えてしまうことがあります（報酬ハッキング）。
• 長い回答や自信ありげな口調が高く評価されやすい、といった偏りが入り込むことがあります。
• 評価者の価値観や文化の偏りが、そのまま報酬モデルに反映されます。
• DPO のように、報酬モデルを別に作らずに好みのデータから直接調整する手法もあります。

関連する考え方

AIの振る舞いを人の意図に合わせる取り組み全体がアラインメントです。人の代わりにAIのフィードバックを使う Constitutional AI も、同じ枠組みの発展形と位置づけられます。