モデルのしくみ 上級
量子化
Quantization
モデルの重みを、16ビットなどから8ビット・4ビットといった少ないビット数で表すことで、モデルのサイズと必要なメモリを減らす手法です。手元の PC でモデルを動かすときによく使われます。
別の呼び方クオンタイズ、4bit量子化
例70B のオープンウェイトモデルを 4 ビットに量子化し、ワークステーション1台で動かした。
詳しく
ビット数を減らすほどファイルサイズとメモリ使用量が小さくなり、処理も速くなる傾向がありますが、性能は少しずつ落ちます。どこまで下げても実用に耐えるかは、モデルと用途によって異なります。
- ローカル実行向けには、GGUF などの形式で量子化済みのモデルが配布されていることが多いです。
- 「Q4」「Q8」「INT4」「FP8」などの表記はビット数や形式を表します。
- 提供側でも、推論コストを下げるために低いビット精度で運用することがあります。