ガイド
LLM の実行に必要な VRAM はどれくらい?
モデルをローカルで動かせるかどうかを決めるのは、演算性能ではなく GPU メモリです。モデルが VRAM に収まらない場合、llama.cpp や Ollama はレイヤーをシステム RAM に退避させ、生成速度は 毎秒数十トークンから極端に遅くなります。必要な VRAM の合計は3つの要素で構成されます:
- 重み = パラメータ数 × 重みあたりのビット数 ÷ 8。Q4_K_M は平均約4.85ビット、Q8_0 は約8.5ビット、FP16 は16ビットです。
- KVキャッシュ = 2 × レイヤー数 × KV ヘッド数 × ヘッド次元 × コンテキスト長 × ユーザー数 × 値あたりのバイト数。DeepSeek の Multi-head Latent Attention は、代わりにレイヤーごとに圧縮された576次元の潜在ベクトルを1つ保存するため、キャッシュがはるかに小さくなります。
- オーバーヘッド ≈ CUDA/Metal コンテキスト 1 GB + アクティベーションとスクラッチバッファ用に重みの約6%、さらにユーザーが1人増えるごとに少量。
モデルの重みと量子化:Q4 vs Q8 vs FP16
重みは固定コストです。すべてのパラメータをメモリに載せる必要があるため、モデルのパラメータ数(10億単位)が下限を決めます。量子化は各パラメータを16ビットから 8ビットまたは約4ビットに縮小し、わずかな精度と引き換えにメモリ使用量を大幅に減らします。人気の Llama モデル2つについて、8K コンテキストでの違いを示します:
| 量子化 | Llama 3.1 8B Instruct | Llama 3.3 70B Instruct |
|---|---|---|
| Q4_K_M(4-bit) | 7.21 GB | 49.1 GB |
| Q8_0 / FP8(8-bit) | 11.1 GB | 83.2 GB |
| FP16 / BF16(16-bit) | 19.0 GB | 153.4 GB |
Q4_K_M は Ollama や LM Studio でのローカル推論の定番です。FP16 より約70%小さく、チャット用途ではほとんどの人が気づかない程度の品質低下で済みます。 Q8_0 はほぼロスレスで、メモリに余裕がある場合に適しています。FP16/BF16 は vLLM などの本番サーバーがデフォルトで使う精度で、 ファインチューニングの基準でもあります。重みあたり約3ビットを下回ると品質が急激に落ちるため、大きなモデルを Q2 まで圧縮するより、小さなモデルを Q4 で動かす方が通常は良い結果になります。
コンテキスト長に応じた KVキャッシュの増加
KVキャッシュは変動コストであり、見落としやすいポイントです。コンテキストウィンドウ内のすべてのトークンについてアテンションのキーとバリューを保存するため、 コンテキスト長と同時ユーザー数に比例して増加します。Q4 の Llama 3.3 70B Instruct では、KVキャッシュは 8K コンテキストで 2.68 GB、128K で 42.9 GB、4人のユーザーがそれぞれ 128K のコンテキストを保持すると 171.8 GB になります。8K では余裕で収まるモデルでも、長いコンテキストではメモリ不足になることがあります。KVキャッシュを8ビットに量子化する (上の「KVキャッシュ」設定)とサイズは半分になり、ほとんどのワークロードで品質への影響はわずかです。
コンシューマー GPU とクラウド GPU のサイジング
コンシューマー GPU(RTX 4060 Ti 16 GB、RTX 3090/4090 24 GB、RTX 5090 32 GB)は 7B〜14B モデルを Q8 で動かせ、24〜32 GB のカードなら 30B クラスのモデルを Q4 で扱えます。Q4 の Llama 3.3 70B Instruct には 約 49.1 GB、つまり RTX 4090 が 3× 必要です。Apple Silicon は速度と引き換えに容量を確保できます。128 GB 以上の Mac なら、単一のコンシューマー GPU には載らない 70B クラスや中規模の MoE モデルを読み込めますが、 ユニファイドメモリの帯域幅は GDDR や HBM より狭いため、毎秒のトークン数は少なくなります。L40S(48 GB)、A100 と H100(80 GB)、 H200(141 GB)などのクラウド GPU は、FP16 でのサービング、長いコンテキスト、多数の同時ユーザーなど、重みではなく KVキャッシュがメモリの大半を占める用途に適しています。
VRAM を最後の1ギガバイトまで使い切らず、10〜15%の余裕を残しましょう。ドライバー、ディスプレイ、断片化がそれぞれメモリを消費します。趣味の環境ではなく本番用にセルフホスト LLM の サイジングをしているなら、次に考えるべきはコストです。LLM API vs セルフホスト計算ツールはレンタル GPU とトークン従量課金を比較し、 LLM 料金計算ツールは同じワークロードをホスト型 API で実行した場合のコストを示します。Llama、Qwen、DeepSeek などのオープンウェイトモデルのホスト型 API 料金は LLM 料金一覧表に掲載しています。