モデルのしくみ 初級
思考の連鎖
Chain of Thought
答えを出す前に、途中の考え方を順番に書き出させる方法です。複雑な計算や論理の問題で答えの正確さが上がりやすく、推論モデルの考え方の原型にもなっています。この手法は広く使われています。
例計算ミスが多かったので、プロンプトに「手順を書いてから答えてください」と加えて思考の連鎖を使わせた。
詳しく
思考の連鎖(Chain of Thought、CoT)は、いきなり答えを出させるのではなく、途中の推論を段階的に書かせてから結論を出させる方法です。2022年に発表された研究で、大規模言語モデルが多段階の問題を解く力が大きく伸びることが示され、広く知られました。
しくみ
言語モデルは、1トークンずつ次を予測して文章を作ります。途中経過を書かせると、その途中経過も入力の一部として後続の予測に使われます。頭の中だけで一気に解くかわりに、メモを取りながら解くことになり、1歩ごとの難しさが下がります。
プロンプトでの使い方は次のようなものです。
- 「ステップごとに考えてから答えてください」と指示する。
- 考え方を示した例を数件添える(フューショットプロンプト)。
具体例
算数の文章題で考えます。「りんごが12個あり、3人で等しく分け、そのうち1人が2個食べた。その人の残りは?」のように、計算が2段階以上あるとき、途中式を書くと間違いが減るのは、人間も同じです。
AIの場合も、「12 ÷ 3 = 4、4 − 2 = 2」と順に書かせたほうが、答えだけを即答させるより正解しやすくなります。契約書の条件を整理する、コードの原因を絞り込む、といった論理的な作業でも同様に効果が出やすいです。
推論モデルとの関係
近年の推論モデルは、この考え方を学習に取り込み、答えの前に長い思考を自動で行います。この場合、「ステップごとに考えて」と明示する必要性は小さくなります。むしろ、モデルによっては、細かい手順を指示するより、目的と条件を伝えるほうがよいこともあります。使うモデルの説明書を確認してください。
使うときの注意・よくある誤解
- 書かれた思考が実際の計算過程そのものとは限らない:モデルが出力する説明は、もっともらしい理由づけであり、内部で起きていた処理を忠実に反映しているとは限らないことが研究で指摘されています。説明があるからといって、答えが正しい保証にはなりません。
- 簡単な問題では不要:事実の確認や単純な言い換えでは、効果が小さく、出力が長くなって費用と時間が増えるだけです。
- 途中の誤りが連鎖する:最初の段階で間違えると、その後も誤った前提で進みます。重要な用途では、答えを別途検証してください。
- 出力に出すかは用途次第:利用者向けの画面では、思考過程を隠して結論だけを見せる設計もあります。
関連する考え方
CoT は、推論時により多くの計算を使って精度を上げる推論時スケーリングの原型とも言えます。フューショットは例を示す方法で、文脈内学習の一種です。実務では、プロンプトエンジニアリングの基本技法の1つとして使われます。
あわせて知りたい言葉
- 推論モデル答えを出す前に内部で段階的に考える過程(思考)を生成してから回答するモデルや機能のことです。数学・コーディング・複雑な分析など、手順の多い問題で精度が上がりやすくなります。
- プロンプトエンジニアリングAIから望む結果を得るために、指示の書き方や与える情報、出力形式などを工夫して設計することです。コツを押さえるだけで、同じAIでも回答の質が大きく変わる、AI活用の基本の技術です。
- フューショットプロンプトAIへの指示に、望む入出力の見本を数個添えて、やり方を伝える方法です。長い説明を書かなくても、書式や口調、判断基準が伝わりやすくなる、手軽で効果的な工夫です。例の選び方が重要です。
- 推論時スケーリング回答を出す段階(推論時)で、モデルにより多くの計算を使わせて精度を高める考え方です。長く考えさせるほど、難しい問題を解ける確率が上がります。一方で、費用と待ち時間は増えます。
- 文脈内学習プロンプトに例や説明を入れるだけで、モデルの重みを更新せずに新しい課題のやり方を覚えさせる能力です。フューショットプロンプトの土台になる性質でもあります。書き方しだいで結果が大きく変わります。