モデルのしくみ　中級

パラメータ

Parameters

モデル内部で学習によって調整される数値（重み）のことです。数が多いほど多くの知識やパターンを表現できる傾向がありますが、計算コストも大きくなります。

別の呼び方パラメータ数、重み

例8B のモデルなら 4 ビット量子化でノート PC のメモリに収まると判断した。

詳しく

  • 「70B」「8B」のように、B（billion＝10億）単位で表すのが一般的です。
  • パラメータ数は性能の目安の1つにすぎず、学習データの質や学習方法、推論時の工夫によって、小さいモデルが大きいモデルを上回ることもあります。
  • MoE（混合エキスパート）では、全体のパラメータ数と、1トークンの処理で実際に使われる「アクティブパラメータ数」を分けて表記します。
  • 手元の PC で動かす場合、必要なメモリ量はパラメータ数と量子化のビット数でおおよそ決まります。
  • クローズドなモデルの多くはパラメータ数を公表していません。

なお、API の「temperature」などの設定値も「パラメータ」と呼ばれることがあるため、文脈で区別します。

あわせて知りたい言葉

「モデルのしくみ」の言葉をすべて見る