モデルのしくみ 上級
MoE（混合エキスパート）
Mixture of Experts
モデルの中に複数の「エキスパート」と呼ばれる部分を用意し、入力ごとにその一部だけを使って計算する構造です。全体のパラメータ数を大きくしながら、1回あたりの計算量を抑えられます。
別の呼び方MoE、混合エキスパート、Mixture-of-Experts
例MoE モデルは計算は速いが、総パラメータ分のメモリが必要なので、GPU の台数を見積もり直した。
詳しく
- 「ルーター」がトークンごとにどのエキスパートを使うかを選びます。
- モデル紹介では「総パラメータ数」と「アクティブパラメータ数」が併記されます。たとえば総パラメータが大きくても、計算量はアクティブパラメータ数に近い水準になります。
- 計算は軽くなりますが、すべてのエキスパートの重みをメモリに載せる必要があるため、必要なメモリ量は総パラメータ数に応じて大きくなります。
- 公開されているオープンウェイトの大型モデルでは MoE 構造が多く採用されています。