GPU

GPU（Graphics Processing Unit）は、もともと3Dゲームなどの画像を高速に描くために作られた半導体です。のちに、その計算の得意分野がニューラルネットワークの計算と非常によく合うことが分かり、AI の学習や推論に欠かせない部品になりました。

なぜ AI に向いているのか

一般的な CPU は、少数の強力な「職人」が複雑な作業を順番にこなすイメージです。対して GPU は、数千の小さな計算ユニットが、単純な計算を一斉に並べて処理します。AI モデルの中身は、巨大な数の表を掛け合わせて足す行列計算の繰り返しです。これは同じ種類の単純な計算を大量に並列して行う作業なので、GPU の構造にぴったり合います。

メモリが重要な理由

AI 用途では、計算の速さと同じくらい、GPU に載っているメモリ（VRAM）の容量が重要です。モデルのパラメータはすべてメモリ上に置く必要があるため、大きなモデルほど大量のメモリが要ります。たとえば同じモデルでも、量子化して精度を落とせば必要なメモリが減り、手元の GPU で動かしやすくなります。また、会話が長くなるほど KV キャッシュなどにもメモリが使われます。

具体例

• 学習：大規模言語モデルの事前学習には、数千から数万枚規模の GPU をつないだクラスタが使われることがあります。
• クラウド利用：AI サービスの API を使う場合、裏側で事業者が GPU を動かしており、その費用がトークン単価に反映されます。
• ローカル実行：自分のパソコンで画像生成やローカル LLM を動かすとき、グラフィックスボードの VRAM 容量が「どのモデルまで動くか」の目安になります。

注意点とよくある誤解

• GPU だけが AI 向けではない：Google の TPU のように、AI 専用に設計された他のチップもあります。「AI のチップ」全般をまとめて AI アクセラレータと呼ぶこともあります。
• 性能の数字だけでは決まらない：計算性能、メモリ容量、メモリの転送速度、複数枚をつなぐ速度のどれが足りないかで、実際の速度は変わります。
• 供給と電力の制約：需要が大きく、入手しにくさや消費電力の大きさが、AI の普及や料金に影響することがあります。

関連する考え方

GPU が担う処理の中身は deep-learning や inference、手元で動かす話は local-llm、メモリ節約の手法は quantization の項目が参考になります。