モデルのしくみ 上級
Transformer
Transformer
2017年の論文「Attention Is All You Need」で提案されたニューラルネットワークの構造です。現在の LLM の大半がこの構造を土台にしています。
別の呼び方トランスフォーマー
例社内勉強会で、LLM の仕組みを Transformer の自己注意から説明した。
詳しく
Transformer の中心は「自己注意（self-attention）」という仕組みで、文中のある語を処理するときに、ほかのどの語にどれだけ注目するかを計算します。これにより、離れた位置にある語どうしの関係もとらえられます。
従来の RNN と比べて並列計算がしやすく、大規模なデータとパラメータで学習させやすかったことが、LLM の急速な発展につながりました。
注意の計算量は入力が長くなるほど大きく増えるため、長い文脈を効率よく扱うための改良（注意の近似や状態空間モデルとの組み合わせなど）も研究・実用化が進んでいます。画像や音声の生成モデルにも Transformer は広く使われています。
あわせて知りたい言葉
- 大規模言語モデル大量のテキストで学習し、文章の続きを予測することで文章の生成・要約・翻訳・質問応答などをこなすモデルです。ChatGPT、Claude、Gemini などのサービスの中核にあります。
- MoE（混合エキスパート）モデルの中に複数の「エキスパート」と呼ばれる部分を用意し、入力ごとにその一部だけを使って計算する構造です。全体のパラメータ数を大きくしながら、1回あたりの計算量を抑えられます。
- 拡散モデルノイズだらけの状態から少しずつノイズを取り除いていくことで、画像・動画・音声などを生成するモデルです。現在の画像生成・動画生成の多くがこの方式を使っています。
- トークンLLM がテキストを処理するときの最小単位です。単語や文字のかけらに相当し、料金・文脈長・出力の上限はトークン数で数えられます。