状態空間モデル

状態空間モデル（SSM）とは、入力を先頭から順に読み、内部に持つ「状態」を更新しながら系列を処理するモデルの総称です。もともとは制御工学や信号処理の考え方で、深層学習に取り入れられたものが S4 などの研究を経て、2023年発表の Mamba で大きく注目されました。Transformer の代わり、あるいは補う存在として研究されています。

なぜ注目されたのか

Transformer のアテンションは、入力のすべてのトークンどうしを見比べるため、文が長くなると計算量が2乗で増えます。生成の際も、過去の情報を保存した KV キャッシュが長さに比例して増え続けます。

SSM は、これまでの情報を固定サイズの「状態」に圧縮して持ち続けます。次のトークンを処理するとき、見るのは現在の状態と新しい入力だけです。そのため、長さに対して計算量がおおむね比例し、生成時のメモリも一定で済みます。

しくみ

• 状態は、これまでの入力を要約したメモのようなもので、1トークン読むごとに更新される
• 従来の SSM は、更新の規則が入力に関係なく固定だった
• Mamba は、更新の仕方を入力の内容に応じて変える「選択的」な仕組みを導入し、重要な情報は残し、不要な情報は流せるようにした
• 学習時は、並列に計算できるように工夫されており、推論時は逐次的に動く

具体例

非常に長い系列、たとえば長い文書、音声、ゲノム配列のようなデータで、メモリと速度の面で有利になる可能性があります。実際には、SSM と Transformer のアテンションを層ごとに組み合わせた「ハイブリッド型」のモデルも登場しています。

使うときの注意・よくある誤解

• 「Transformer を置き換えた」とは言い切れません。2026年時点でも、主要な大規模モデルの多くは Transformer が中心で、SSM は研究と一部の製品が先行している段階です。
• 状態は固定サイズの圧縮なので、遠く離れた細部を正確に取り出す作業では、アテンションに劣る場合があります。
• 利点は、長さに対する効率にあります。短い入力では、差が目立たないこともあります。
• 既存のツールや最適化は Transformer 向けが豊富で、SSM は対応状況の確認が必要です。

関連する考え方

アテンションは「全部を見比べる」方式、SSM は「要約を持ち歩く」方式と言えます。それぞれ得意なことが違うので、組み合わせる設計も有力です。