ベンチマーク

ベンチマークは、異なるモデルを同じ条件で比べるための「共通テスト」です。問題の集まりと、採点のルールがセットになっており、モデルの新製品が発表されるとき、その性能を示す根拠としてよく引用されます。

種類

測る能力ごとに、さまざまなものがあります。

• 知識や理解：幅広い分野の選択式問題など。
• 数学・論理：競技数学や、段階的な推論が必要な問題。
• プログラミング：関数を書かせてテストを通すか確かめるものや、実際のソフトウェアの不具合を修正させるもの。
• エージェント的な作業：ブラウザやコマンドを使って、複数の手順で課題を解く。
• 人間による好みの比較：二つの回答を人が見比べ、投票で順位を決める方式。

具体的な名称や内容は、時とともに入れ替わっていきます。

見るときのポイント

• 条件をそろえて比べます。 同じ数値でも、使った例の数、考える時間、ツールの有無などの条件で結果が変わります。
• 飽和します。 多くのモデルが高得点を取るようになると、差が見えなくなり、より難しい問題集に置き換わります。
• 汚染の可能性があります。 問題や答えが学習データに混ざっていると、実力以上に高得点が出ます（データ汚染）。
• 自己申告であることが多いです。 公式発表の数値は、提供元が選んだ条件での結果です。第三者の再現があると、より信頼できます。

具体例

家電を選ぶときの性能表に似ています。カタログの数値は参考になりますが、実際の使い心地は、自分の用途で試さないと分かりません。たとえば、社内文書の要約が目的なら、一般的な数学のスコアより、実際の社内文書での出来が重要です。

使うときの注意・よくある誤解

• 高得点が「最も使える」ではありません。 速さ、価格、日本語の質、安全性、使いやすさなどは、点数に表れません。
• 自分用の評価を作ります。 実際の業務の例を数十件集め、モデルを同じ条件で試すと、判断が確かです。これは評価（evals）と呼ばれる取り組みです。
• 順位は変動します。 新しいモデルが出るたびに入れ替わります。特定の時点の順位は、記事を読む時期によって古くなります。

関連する考え方

評価を自動で行う方法として、別の LLM に採点させる手法（LLM-as-a-judge）もあります。性能の伸びを予測する議論は、スケーリング則と関わります。

読み方の手順

新しいモデルの数値を見たら、①何を測る問題集か、②比較対象と条件はそろっているか、③第三者の確認があるか、の順で見ます。そのうえで、自分の用途に近い項目だけを参考にし、最終的には手元の課題で試します。