LLM-as-a-Judge

LLM-as-a-Judge は、「AI の答えを評価する役」を別の LLM に任せる手法です。要約が良いか、回答が丁寧か、といった正解が一つに決まらない出力は、計算だけでは採点できません。かといって、人が毎回読んで採点するのは手間と費用がかかります。そこで審査員役の LLM を使います。

主なやり方

• 単独採点：回答と採点基準を渡し、「1〜5点で評価し、理由も書いて」と頼む。
• ペア比較：2つの回答（AとB）を見せ、どちらが良いかを選ばせる。絶対評価より安定しやすいとされます。
• 基準との照合：模範解答や、必須の要素のチェックリストを渡し、満たしているかを判定させる。

具体例

社内の質問応答ボットのプロンプトを書き換えたとき、改善したのか悪化したのかを知りたいとします。過去の質問200件で新旧の回答を作り、審査員モデルに「事実に誤りがないか」「質問に答えているか」「丁寧か」を基準に比べさせます。人が全部読まなくても、全体の傾向と、悪化した事例の一覧が得られます。

偏りに注意

LLM の審査には、知られている癖があります。

• 位置の偏り：先に提示された回答を好む（または後ろを好む）ことがある。対策として、順番を入れ替えて2回判定します。
• 長さの偏り：長く詳しい回答を、内容に関わらず高く評価しがち。
• 自己びいき：自分と同じ系統のモデルが書いた文章を好む傾向が指摘されています。
• 基準が曖昧だと、採点がぶれます。「良い回答」ではなく、観点を具体的に分けて書きます。

使い方のコツ

審査員の採点が信頼できるかは、あらかじめ人が採点した少量のサンプルと突き合わせて確認します。一致しない部分は、基準の書き方を直します。また、重要な判断や最終的な品質保証までを自動採点だけに任せず、定期的に人が確認する運用が安全です。

関連する考え方

評価全般はevals、公開のテストはベンチマークと関わります。評価に使うデータが学習に混ざる問題は、データ汚染の項目も参照してください。

向き不向き

文章の自然さ、質問への答えになっているか、指示を守っているかといった観点は、比較的うまく判定できます。一方、専門的な事実の正誤や、最新の情報に関する判断は、審査員自身が間違えることがあります。そのような項目は、根拠資料を一緒に渡して照合させるか、人が確認する構成にします。採点の理由も出力させておくと、あとから妥当性を点検しやすくなります。