GGUF

GGUF は、LLM の重みや設定をひとまとめにして保存するファイル形式です。拡張子は .gguf で、ローカル環境で AI を動かす人にとっては、最もよく目にする形式の一つです。llama.cpp という、個人の PC でも LLM を動かせるようにするソフトの開発の中から生まれました。

特徴

• 1ファイルで完結：モデルの重みに加えて、言葉を分解する辞書（トークナイザー）の情報や、モデルの構造に関する設定がファイル内に収められています。ファイルを1つ置けば動かせるので扱いが簡単です。
• 量子化に対応：重みを少ないビット数で保存する形式が用意されており、同じモデルでも「Q4_K_M」「Q8_0」のように、軽さと品質の異なる版が作られます。
• CPU でも動かせる：GPU がない PC でも、時間はかかりますが動かせます。GPU とメモリの両方を併用して、載り切らない分を CPU 側で処理することもできます。

具体例

Hugging Face などの配布サイトで、気になるオープンウェイトモデルの名前に「GGUF」を付けて検索すると、有志や公式が変換した版が見つかります。自分の PC のメモリに収まる大きさ（ファイルサイズが目安になります）を選んでダウンロードし、llama.cpp や Ollama、LM Studio などのツールで開くだけで、チャットができます。

選び方・注意点

• ファイルサイズより少し余裕のあるメモリが必要です。文脈が長くなるほど、追加のメモリが要ります。
• 数字が小さい版ほど軽い一方、品質は下がります。まず中程度の版から試すのが無難です。
• 配布元を確認してください。誰でも変換して公開できるため、信頼できる提供元か、元のモデルのライセンスを守っているかを見ましょう。ライセンス条件は変換後も元のモデルに従います。
• 新しいモデルは、ソフトの対応が遅れると読み込めないことがあります。ソフト側を更新してみてください。
• 画像も扱えるモデルでは、画像用の部分が別ファイルになっていることがあります。

関連する考え方

GGUF は主にローカル実行向けの形式で、サーバーで大量のリクエストをさばく場面では別の形式が使われることが多いです。ファイルの軽さを生み出す技術は量子化、実際に動かすソフトは推論サーバーやローカル LLM のツール群に当たります。