#ローカルAI

手元のパソコンや自社サーバーでAIを動かす

タグの種類：話題　タグの一覧

モデル8

AI用語4

  • パラメータParametersモデル内部で学習によって調整される数値（重み）のことです。数が多いほど多くの知識やパターンを表現できる傾向がありますが、計算コストも大きくなります。
  • 量子化Quantizationモデルの重みを、16ビットなどから8ビット・4ビットといった少ないビット数で表すことで、モデルのサイズと必要なメモリを減らす手法です。手元の PC でモデルを動かすときによく使われます。
  • オープンウェイトOpen Weights学習済みモデルの重み（パラメータ）が公開され、ダウンロードして自分の環境で動かせるモデルのことです。データを外部に出さずに使える、自由に追加学習できるといった利点があります。
  • ローカルLLMLocal LLMクラウドの API を使わず、自分の PC やサーバーで LLM を動かすことです。データを外部に送らずに済み、利用量に応じた API 料金もかかりません。