本文へスキップ
LLM Pricing Calc
GPU レンタル料金

LLM VRAM 計算ツール:必要な GPU メモリはどれくらい?

ローカル LLM の実行に必要なハードウェア要件を確認できます。メモリを重み・KVキャッシュ・オーバーヘッドに分けて表示し、どのコンシューマー GPU、Mac、クラウド GPU で動かせるかもわかります。

量子化
コンテキスト長
KVキャッシュ

必要な VRAM の合計

49.1 GB

Llama 3.3 70B Instruct · Q4_K_M · コンテキスト 8K · 1 ユーザー

KVキャッシュ:320 KB / トークン

モデルの重み
42.8 GB
KVキャッシュ
2.68 GB
ランタイムのオーバーヘッド
3.57 GB
ハードウェアの対応状況
ハードウェア使用可能メモリ搭載可否推定速度クラウド $/時
RTX 4060 Ti 16GBコンシューマー GPU16 GB4× 必要~17 tok/s—
RTX 3090 24GBコンシューマー GPU24 GB3× 必要~43 tok/s$0.66
RTX 4090 24GBコンシューマー GPU24 GB3× 必要~46 tok/s$1.02
RTX 5090 32GBコンシューマー GPU32 GB2× 必要~54 tok/s$1.38
MacBook Pro M4 Max 64GBApple Silicon48 GB搭載不可——
MacBook Pro M4 Max 128GBApple Silicon96 GB搭載可~8 tok/s—
Mac Studio M3 Ultra 512GBApple Silicon384 GB搭載可~12 tok/s—
NVIDIA L4 24GBクラウド GPU24 GB3× 必要~14 tok/s$1.32
NVIDIA L40S 48GBクラウド GPU48 GB2× 必要~26 tok/s$1.72
NVIDIA A100 80GBクラウド GPU80 GB搭載可~31 tok/s$1.39
NVIDIA H100 80GBクラウド GPU80 GB搭載可~51 tok/s$2.39
NVIDIA H200 141GBクラウド GPU141 GB搭載可~73 tok/s$3.29
NVIDIA B200 180GBクラウド GPU180 GB搭載可~121 tok/s$5.49
AMD MI300X 192GBクラウド GPU192 GB搭載可~80 tok/s$2.49

VRAM とメモリ帯域幅はメーカー公称値です。時間料金は RunPod Community Cloud のオンデマンド料金で、他のプロバイダーや地域では異なります。Apple Silicon の使用可能メモリは、macOS のデフォルトの GPU ワイヤードメモリ上限(ユニファイドメモリの約75%)を想定しています。「N× 必要」は、同一 GPU N 枚でのテンソル並列を意味します。 GPU 料金: 公式料金ページ ↗

ガイド

LLM の実行に必要な VRAM はどれくらい?

モデルをローカルで動かせるかどうかを決めるのは、演算性能ではなく GPU メモリです。モデルが VRAM に収まらない場合、llama.cpp や Ollama はレイヤーをシステム RAM に退避させ、生成速度は 毎秒数十トークンから極端に遅くなります。必要な VRAM の合計は3つの要素で構成されます:

  • 重み = パラメータ数 × 重みあたりのビット数 ÷ 8。Q4_K_M は平均約4.85ビット、Q8_0 は約8.5ビット、FP16 は16ビットです。
  • KVキャッシュ = 2 × レイヤー数 × KV ヘッド数 × ヘッド次元 × コンテキスト長 × ユーザー数 × 値あたりのバイト数。DeepSeek の Multi-head Latent Attention は、代わりにレイヤーごとに圧縮された576次元の潜在ベクトルを1つ保存するため、キャッシュがはるかに小さくなります。
  • オーバーヘッド ≈ CUDA/Metal コンテキスト 1 GB + アクティベーションとスクラッチバッファ用に重みの約6%、さらにユーザーが1人増えるごとに少量。

モデルの重みと量子化:Q4 vs Q8 vs FP16

重みは固定コストです。すべてのパラメータをメモリに載せる必要があるため、モデルのパラメータ数(10億単位)が下限を決めます。量子化は各パラメータを16ビットから 8ビットまたは約4ビットに縮小し、わずかな精度と引き換えにメモリ使用量を大幅に減らします。人気の Llama モデル2つについて、8K コンテキストでの違いを示します:

8K コンテキストでの Llama 3.1 8B Instruct と Llama 3.3 70B Instruct の量子化別 VRAM
量子化Llama 3.1 8B InstructLlama 3.3 70B Instruct
Q4_K_M(4-bit)7.21 GB49.1 GB
Q8_0 / FP8(8-bit)11.1 GB83.2 GB
FP16 / BF16(16-bit)19.0 GB153.4 GB

Q4_K_M は Ollama や LM Studio でのローカル推論の定番です。FP16 より約70%小さく、チャット用途ではほとんどの人が気づかない程度の品質低下で済みます。 Q8_0 はほぼロスレスで、メモリに余裕がある場合に適しています。FP16/BF16 は vLLM などの本番サーバーがデフォルトで使う精度で、 ファインチューニングの基準でもあります。重みあたり約3ビットを下回ると品質が急激に落ちるため、大きなモデルを Q2 まで圧縮するより、小さなモデルを Q4 で動かす方が通常は良い結果になります。

コンテキスト長に応じた KVキャッシュの増加

KVキャッシュは変動コストであり、見落としやすいポイントです。コンテキストウィンドウ内のすべてのトークンについてアテンションのキーとバリューを保存するため、 コンテキスト長と同時ユーザー数に比例して増加します。Q4 の Llama 3.3 70B Instruct では、KVキャッシュは 8K コンテキストで 2.68 GB、128K で 42.9 GB、4人のユーザーがそれぞれ 128K のコンテキストを保持すると 171.8 GB になります。8K では余裕で収まるモデルでも、長いコンテキストではメモリ不足になることがあります。KVキャッシュを8ビットに量子化する (上の「KVキャッシュ」設定)とサイズは半分になり、ほとんどのワークロードで品質への影響はわずかです。

コンシューマー GPU とクラウド GPU のサイジング

コンシューマー GPU(RTX 4060 Ti 16 GB、RTX 3090/4090 24 GB、RTX 5090 32 GB)は 7B〜14B モデルを Q8 で動かせ、24〜32 GB のカードなら 30B クラスのモデルを Q4 で扱えます。Q4 の Llama 3.3 70B Instruct には 約 49.1 GB、つまり RTX 4090 が 3× 必要です。Apple Silicon は速度と引き換えに容量を確保できます。128 GB 以上の Mac なら、単一のコンシューマー GPU には載らない 70B クラスや中規模の MoE モデルを読み込めますが、 ユニファイドメモリの帯域幅は GDDR や HBM より狭いため、毎秒のトークン数は少なくなります。L40S(48 GB)、A100 と H100(80 GB)、 H200(141 GB)などのクラウド GPU は、FP16 でのサービング、長いコンテキスト、多数の同時ユーザーなど、重みではなく KVキャッシュがメモリの大半を占める用途に適しています。

VRAM を最後の1ギガバイトまで使い切らず、10〜15%の余裕を残しましょう。ドライバー、ディスプレイ、断片化がそれぞれメモリを消費します。趣味の環境ではなく本番用にセルフホスト LLM の サイジングをしているなら、次に考えるべきはコストです。LLM API vs セルフホスト計算ツールはレンタル GPU とトークン従量課金を比較し、 LLM 料金計算ツールは同じワークロードをホスト型 API で実行した場合のコストを示します。Llama、Qwen、DeepSeek などのオープンウェイトモデルのホスト型 API 料金は LLM 料金一覧表に掲載しています。

その他の AI コスト計算ツール

LLM VRAM に関するよくある質問

Llama 3.3 70B Instruct に必要な VRAM は?

Q4_K_M、8K コンテキストの場合、Llama 3.3 70B Instruct には合計約 49.1 GB が必要です。内訳は重み 42.8 GB、KVキャッシュ 2.68 GB、オーバーヘッド 3.57 GB です。これは単一のコンシューマー GPU の容量を超えます。NVIDIA A100 80GB、NVIDIA H100 80GB、NVIDIA H200 141GB、NVIDIA B200 180GB、またはAMD MI300X 192GB 1台、または MacBook Pro M4 Max 128GBまたはMac Studio M3 Ultra 512GBに収まるほか、テンソル並列で分割すれば RTX 4090 3× でも動かせます。FP16 では約 153.4 GB が必要で、H100 80GB が 3× 必要です。

LLM の実行に必要な VRAM はどれくらい?

目安は、パラメータ数(10億単位)× 重みあたりのビット数 ÷ 8 = 重みの GB 数です。これにコンテキスト長と同時ユーザー数に応じて増える KVキャッシュと、1〜2 GB のランタイムのオーバーヘッドを加えます。Q4_K_M の 70B モデルは重みだけで約 43 GB が必要なため、24 GB の RTX 4090 1枚には収まりません。

KVキャッシュとは何か、なぜ重要なのか?

KVキャッシュは、コンテキスト内のすべてのトークンのアテンションのキーとバリューを保存し、再計算を避けるための仕組みです。サイズ = 2 × レイヤー数 × KV ヘッド数 × ヘッド次元 × コンテキスト長 × 値あたりのバイト数 × ユーザー数。128K コンテキストではモデルの重みそのものより大きくなることもあり、長いコンテキストの推論でメモリ不足が起きやすいのはこのためです。

どの量子化を使えばいい?

Q4_K_M はローカル推論で最も人気のある選択肢で、FP16 より約70%小さく、品質の低下はわずかです。Q8_0 は FP16 の半分のサイズでほぼロスレスです。FP16/BF16 は元の精度で、vLLM など多くの本番サービングスタックで使われています。

MoE モデルは必要な VRAM が少ない?

いいえ。Qwen3-235B-A22B や gpt-oss-120b などの Mixture of Experts モデルは、すべてのエキスパートをメモリに保持する必要があるため、VRAM は総パラメータ数で決まります。アクティブパラメータ数が少ないことで恩恵を受けるのは速度だけで、これはトークンごとに読み込む重みが少なくなるためです。

Mac のユニファイドメモリのうち GPU が使えるのはどれくらい?

macOS のデフォルトでは、GPU はユニファイドメモリの約65〜75%をワイヤードメモリとして確保できます。この計算ツールは75%を想定しています(64 GB の MacBook Pro で 48 GB、128 GB で 96 GB)。sudo sysctl iogpu.wired_limit_mb で上限を引き上げることもできますが、自己責任で行ってください。

Ollama や llama.cpp が使う VRAM と同じ?

ほぼ同じです。Ollama と llama.cpp は GGUF ファイルを読み込み、そのサイズは同じ量子化であればここでの重みの数値と一致します。Ollama は num_ctx で設定したコンテキスト全体分の KVキャッシュも確保し、並列リクエストを処理する場合はその分のコピーも確保するため、コンテキストとユーザー数の欄を Ollama の設定に合わせてください。合計が VRAM を超えると、Ollama はレイヤーをシステム RAM にオフロードし、生成速度が大幅に低下します。

毎秒トークン数の推定はどれくらい正確?

単一ユーザーを想定した、メモリ帯域幅ベースの推定値です:帯域幅 × 約65%の効率 ÷ トークンごとに読み込むアクティブな重みのバイト数。実際の速度は推論エンジン、バッチサイズ、モデルを複数の GPU に分割しているかどうかによって変わります。おおよその目安としてお使いください。