使い方・開発　上級

推論サーバー

Inference Server / vLLM

学習済みのモデルを読み込み、API として外部からの質問に答えられるようにするソフトウェアです。vLLM が代表例で、多数のリクエストを効率よく同時にさばく工夫が詰まっています。

別の呼び方vLLM、LLMサーバー、サービングエンジン

例機密文書の要約用に、社内サーバーで vLLM を動かし、アプリからは API として呼び出すようにした。

詳しく

推論サーバーとは、LLM を GPU のメモリに載せて待機し、リクエストを受け取って回答を返すソフトウェアのことです。モデルのファイルをただ置いただけでは、誰も使えません。それを「呼び出せるサービス」に変える役割を担います。

なぜ専用のソフトが必要か

自社でオープンウェイトのモデルを動かす場合、同時に何十人もが質問してくることがあります。1件ずつ順番に処理すると、高価な GPU がほとんど遊んでしまい、待たされる人も増えます。そこで推論サーバーは、次のような工夫をします。

  • 連続バッチ処理：処理中のリクエストの合間に、新しいリクエストをどんどん組み込み、GPU を絶えず動かし続ける。
  • KV キャッシュの効率的な管理：過去の文脈の計算結果を保存する領域を、無駄なく割り当てる。vLLM の PagedAttention は、この領域をメモリのページのように細かく管理する方式として知られます。
  • ストリーミング：生成した文字を少しずつ返し、体感の待ち時間を縮める。
  • 複数 GPU への分割：1枚に収まらない大きなモデルを、複数枚に分けて載せる。

代表的なもの

2026年時点では、vLLM のほか、SGLang、TensorRT-LLM、Hugging Face の Text Generation Inference などが知られています。手元の PC で気軽に動かす用途には、llama.cpp 系や Ollama のようなツールがよく使われます。多くは OpenAI 互換の API を備えており、既存のプログラムから接続先を変えるだけで使える場合があります。

具体例

社外に出せない文書を扱うため、社内のサーバーにオープンウェイトのモデルを置き、vLLM で公開するとします。社内のアプリは、クラウドの API を呼ぶのとほぼ同じ書き方で社内サーバーに問い合わせられます。データが社外に出ないことが利点です。

注意点

  • GPU の購入・運用、監視、障害対応は自社の責任になります。利用量が少ない間は、クラウドの API のほうが安く済むことも多いです。
  • 設計では、同時接続数、文脈の長さ、量子化の有無などでメモリの必要量が大きく変わります。
  • ソフトウェアは更新が速く、設定や対応モデルが変わりやすいので、導入前に最新の公式文書を確認してください。

関連する考え方

推論の速度は、レイテンシとスループットの両方で見ます。モデルを小さくする量子化や、手元で動かすローカル LLM、運用を支える LLMOps とも密接に関係します。

あわせて知りたい言葉

「使い方・開発」の言葉をすべて見る