料金・権利 中級
ローカルLLM
Local LLM
クラウドの API を使わず、自分の PC やサーバーで LLM を動かすことです。データを外部に送らずに済み、利用量に応じた API 料金もかかりません。
別の呼び方ローカルAI、ローカル実行、オンデバイスAI
例機密性の高い設計書の要約は、ノート PC 上のローカル LLM で処理している。
詳しく
- オープンウェイトモデルをダウンロードし、Ollama、LM Studio、llama.cpp などのツールで動かすのが一般的です。
- 必要なメモリ（GPU の VRAM や、統合メモリ）の量は、パラメータ数と量子化のビット数でおおよそ決まります。
- 同じ時期のクラウドの最上位モデルと比べると性能は劣ることが多いため、要約・分類・社内文書の検索など、用途を絞って使うのが現実的です。
- スマートフォンや PC に組み込まれた小さなモデルで処理する「オンデバイス AI」も同じ考え方です。