推論時スケーリング

推論時スケーリング（テストタイムコンピュート）とは、モデルが回答を作る段階で使う計算量を増やすことで、答えの質を上げようとする考え方です。モデルを大きくしたり、学習データを増やしたりする代わりに、「答える前によく考える時間」を増やします。

なぜ注目されたのか

これまでのAIの性能向上は、主に学習時の投資、つまりモデルの大きさ・データ量・学習の計算量を増やすことで進んできました（スケーリング則）。ところが、学習にかかるコストが非常に大きくなるにつれ、別の伸ばし方が注目されます。それが、使うときの計算量を増やす方法です。

人間でも、難しい問題をパッと答えるより、紙に途中式を書いて検算したほうが正確になります。AIでも同じ発想です。

主な方法

• 長く考えさせる：思考の連鎖（chain-of-thought）のように、結論の前に長い途中経過を書かせます。推論モデルは、これを強化学習などで鍛えたものです。
• 複数回答えさせて選ぶ：同じ問題を何度も解かせ、多数決をとったり、検証役のモデルが最も良いものを選んだりします。
• 探索する：途中の案を枝分かれさせ、見込みのない案を捨てながら進めます。
• 自分で見直させる：一度出した答えを検証し、誤りがあれば修正させます。

具体例

数学の証明や、複雑なバグの原因調査では、思考量を増やすと正答率が上がる傾向があります。一方、「この文を敬語に直して」のような単純な作業では、長く考えさせても効果はほとんどなく、待ち時間と費用だけが増えます。

使うときの注意

• 考えた分のトークンが出力として課金されるサービスが多く、費用と応答時間が増えます。
• 効果は課題による差が大きく、考える量を増やし続ければ、いくらでも賢くなるわけではありません。
• 長い思考過程が、必ずしも正しい理由づけを表しているとは限りません。
• 利用側から思考の量（予算）を調整できるサービスもあります。難しい課題だけ多めに割り当てる使い分けが現実的です。

実務での使いどころ

推論時の計算を増やす価値があるのは、「間違えると損失が大きく、人が検算する手間のほうが高くつく」課題です。複雑な計画づくり、コードの設計判断、数学的な推論などが当てはまります。まず軽い設定で試し、足りないときだけ思考量を上げる、という順序にすると、費用を抑えながら効果を確かめられます。

関連する考え方

学習時にかける計算量を扱うのがスケーリング則で、推論時スケーリングは、その「もう1つの軸」と位置づけられます。実際に利用できる形になったものが推論モデルです。