創発能力

創発能力とは、モデルの規模（パラメータ数、学習データ量、計算量）を大きくしていくと、小さなモデルではほとんどできなかった課題が、ある規模を超えたあたりから急にできるようになる、という現象や、その能力のことです。物理学や生物学で「部分の単純な足し算では説明できない性質が、全体として現れる」ことを指す言葉を借りています。

提唱された背景

2022年に発表された研究では、多段階の計算、文章の読み取りを要する課題などで、モデルが小さいうちはほぼ当てずっぽうの成績なのに、ある大きさを超えると急に成績が上がる例が報告されました。思考の連鎖や、文脈内学習が効き始める規模があるとも言われました。

これは、スケーリング則が示す「規模を増やすと損失が滑らかに下がる」という傾向とは、一見すると対照的です。そのため、大きなモデルでは何が起きるか、事前に予測できないのではないか、という期待と不安を呼びました。

異論と見え方の問題

その後、「急に現れる」という見え方は、評価方法による部分が大きいという指摘が出ました。

• 完全一致のような、「全部合っているか、そうでないか」を測る指標を使うと、途中まで正しくても0点になるため、ある時点で急に点が付き始めるように見える
• 部分点を与える連続的な指標にすると、性能はなだらかに伸びて見えることがある
• 試したモデルの規模の刻みが粗いと、滑らかな変化も段差のように見える

つまり、能力が本当に不連続に現れるのか、測り方が不連続なのかは、課題によって見解が分かれています。

具体例

小さなモデルでは「3桁の足し算」がまったく解けないのに、ある大きさを超えると解けるようになる、といった例が語られます。ただし、これも指標の取り方次第で連続的に見えるという議論があります。

使うときの注意

• 「大きくすれば何か新しい能力が必ず生まれる」とは言えません。
• 規模が同じでも、学習データの質や学習方法で、能力の出方は大きく変わります。
• 性能評価の記事で「創発」という言葉が出てきたときは、どの指標で、どの規模の刻みで測った結果かを確認すると、判断しやすくなります。
• 安全性の観点では、予想外の能力を事前にテストで見つけられるか、という課題と結びつけて議論されます。

関連する考え方

規模と性能の関係を扱うのがスケーリング則です。能力の有無はベンチマークで測られるため、その設計と指標の選び方が結論を左右します。