アテンション

アテンション（Attention、注意機構）は、入力された情報のうち、今の処理にどの部分がどれだけ重要かを計算して、重みをつけて参照する仕組みです。2017年に発表された Transformer が、このアテンションを中心に据えたことで、現在の大規模言語モデルの時代が始まりました。

何を解決したのか

文章を理解するには、離れた位置にある言葉どうしの関係をつかむ必要があります。たとえば「トロフィーはスーツケースに入らなかった。それが大きすぎたからだ」の「それ」が何を指すかは、文の先頭の言葉を見ないと分かりません。以前の主流だった再帰型ニューラルネットワークは、言葉を1つずつ順番に処理するため、遠い言葉の関係を保つのが苦手で、並列に計算できず学習も遅くなりがちでした。アテンションは、すべての言葉どうしの関係を直接計算することで、これを解決しました。

しくみ（イメージ）

自己アテンション（セルフアテンション）では、各単語が次の3つの役割を持つ値に変換されます。

• クエリ（Query）：「自分は何を探しているか」
• キー（Key）：「自分はどんな情報を持っているか」
• バリュー（Value）：「実際に渡す中身」

ある単語のクエリと、他のすべての単語のキーとの近さを計算し、近いものほど大きな重みを与えます。その重みでバリューを混ぜ合わせたものが、その単語の新しい表現になります。図書館で、探したい内容（クエリ）を、本の見出し（キー）と照らし合わせ、関連が強い本の中身（バリュー）をより多く読む、というイメージです。

実際には、これを異なる観点で同時に何組も行う「マルチヘッドアテンション」が使われ、文法的な関係や意味的な関係など、複数の見方を並行して捉えられます。

具体例

先ほどの例では、「それ」のクエリはキーとの照合で「トロフィー」に強く反応し、文の意味が正しく取れるようになります。

特徴と注意点

• 計算量の問題：すべての単語の組み合わせを計算するため、入力が長くなると計算量とメモリが急速に増えます。文脈長の制約の一因です。
• 高速化の工夫：FlashAttention のように、メモリの使い方を工夫して速くする実装や、KV キャッシュで過去の計算を再利用する方法があります。
• 解釈には限界がある：どこに注目したかを可視化できますが、それがモデルの判断理由そのものとは限りません。
• 文章以外にも使われる：画像、音声、動画など、ほかのデータにも広く応用されています。

関連する考え方

transformer は全体の構造、flash-attention は高速化の実装、kv-cache は推論時の再利用、positional-encoding は語順の情報を加える工夫です。