본문으로 건너뛰기
LLM Pricing Calc
GPU 임대 요금

LLM VRAM 계산기: GPU 메모리가 얼마나 필요할까?

로컬 LLM 실행에 필요한 하드웨어 사양을 확인하세요. 메모리를 가중치, KV 캐시, 오버헤드로 나눠 보여 주고, 어떤 소비자용 GPU, Mac, 클라우드 GPU에서 실행할 수 있는지 알려 줍니다.

양자화
컨텍스트 길이
KV 캐시

필요한 총 VRAM

49.1 GB

Llama 3.3 70B Instruct · Q4_K_M · 컨텍스트 8K · 사용자 1명

KV 캐시: 토큰당 320 KB

모델 가중치
42.8 GB
KV 캐시
2.68 GB
런타임 오버헤드
3.57 GB
하드웨어 호환성
하드웨어사용 가능 메모리적합성예상 속도클라우드 $/시간
RTX 4060 Ti 16GB소비자용 GPU16 GB4× 필요~17 tok/s—
RTX 3090 24GB소비자용 GPU24 GB3× 필요~43 tok/s$0.66
RTX 4090 24GB소비자용 GPU24 GB3× 필요~46 tok/s$1.02
RTX 5090 32GB소비자용 GPU32 GB2× 필요~54 tok/s$1.38
MacBook Pro M4 Max 64GBApple Silicon48 GB실행 불가——
MacBook Pro M4 Max 128GBApple Silicon96 GB실행 가능~8 tok/s—
Mac Studio M3 Ultra 512GBApple Silicon384 GB실행 가능~12 tok/s—
NVIDIA L4 24GB클라우드 GPU24 GB3× 필요~14 tok/s$1.32
NVIDIA L40S 48GB클라우드 GPU48 GB2× 필요~26 tok/s$1.72
NVIDIA A100 80GB클라우드 GPU80 GB실행 가능~31 tok/s$1.39
NVIDIA H100 80GB클라우드 GPU80 GB실행 가능~51 tok/s$2.39
NVIDIA H200 141GB클라우드 GPU141 GB실행 가능~73 tok/s$3.29
NVIDIA B200 180GB클라우드 GPU180 GB실행 가능~121 tok/s$5.49
AMD MI300X 192GB클라우드 GPU192 GB실행 가능~80 tok/s$2.49

VRAM과 메모리 대역폭은 제조사 사양입니다. 시간당 요금은 RunPod Community Cloud 온디맨드 요금이며, 다른 제공업체나 리전은 다를 수 있습니다. Apple Silicon의 사용 가능 메모리는 macOS 기본 GPU wired 한도(통합 메모리의 약 75%)를 가정합니다. "N× 필요"는 동일한 GPU N개에 텐서 병렬로 나눈다는 뜻입니다. GPU 요금: 공식 요금 페이지 ↗

가이드

LLM을 실행하려면 VRAM이 얼마나 필요할까?

모델을 로컬에서 실행할 수 있는지 여부는 연산 성능이 아니라 GPU 메모리가 결정합니다. 모델이 VRAM에 들어가지 않으면 llama.cpp와 Ollama는 일부 레이어를 시스템 RAM으로 넘기고, 생성 속도는 초당 수십 토큰에서 거의 기어가는 수준으로 떨어집니다. 전체 VRAM은 세 부분으로 구성됩니다:

  • 가중치 = 파라미터 수 × 가중치당 비트 수 ÷ 8. Q4_K_M은 평균 ~4.85비트, Q8_0은 ~8.5비트, FP16은 16비트입니다.
  • KV 캐시 = 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 컨텍스트 × 사용자 수 × 값당 바이트. DeepSeek의 멀티헤드 잠재 어텐션은 대신 레이어당 압축된 576차원 잠재 벡터 하나만 저장하므로 캐시가 훨씬 작습니다.
  • 오버헤드 ≈ CUDA/Metal 컨텍스트 1 GB + 활성화 값과 스크래치 버퍼용 가중치의 ~6%, 그리고 사용자가 추가될 때마다 약간씩 더해집니다.

모델 가중치와 양자화: Q4 vs Q8 vs FP16

가중치는 고정 비용입니다. 모든 파라미터가 메모리에 올라가야 하므로, 수십억 단위의 파라미터 수가 최소 용량을 정합니다. 양자화는 파라미터 하나를 16비트에서 8비트 또는 약 4비트로 줄여, 약간의 정확도를 내주는 대신 메모리 사용량을 크게 줄입니다. 8K 컨텍스트에서 인기 있는 Llama 모델 두 개를 예로 들면 다음과 같습니다:

8K 컨텍스트에서 Llama 3.1 8B Instruct 및 Llama 3.3 70B Instruct의 양자화별 VRAM
양자화Llama 3.1 8B InstructLlama 3.3 70B Instruct
Q4_K_M (4비트)7.21 GB49.1 GB
Q8_0 / FP8 (8비트)11.1 GB83.2 GB
FP16 / BF16 (16비트)19.0 GB153.4 GB

Q4_K_M은 Ollama와 LM Studio로 로컬 추론할 때의 기본값입니다. FP16보다 약 70% 작으면서도, 채팅에서는 대부분의 사람이 품질 저하를 느끼지 못합니다. Q8_0은 손실이 거의 없어 메모리가 충분하다면 좋은 선택입니다. FP16/BF16은 vLLM 같은 프로덕션 서버가 기본으로 사용하는 정밀도이며, 파인튜닝의 기준이기도 합니다. 가중치당 약 3비트 아래로 내려가면 품질이 급격히 떨어지므로, 큰 모델을 Q2로 억지로 줄이는 것보다 작은 모델을 Q4로 쓰는 편이 보통 낫습니다.

컨텍스트 길이에 따른 KV 캐시 증가

KV 캐시는 변동 비용이며, 많은 사람이 간과하는 부분입니다. 컨텍스트 윈도의 모든 토큰에 대한 어텐션 키와 값을 저장하므로, 컨텍스트 길이와 동시 사용자 수에 비례해 선형으로 증가합니다. Q4의 Llama 3.3 70B Instruct 기준으로 KV 캐시는 8K 컨텍스트에서 2.68 GB, 128K에서 42.9 GB, 사용자 4명이 각각 128K 컨텍스트를 사용하면 171.8 GB를 차지합니다. 8K에서 여유 있게 돌아가던 모델도 롱 컨텍스트에서는 메모리가 부족해질 수 있습니다. KV 캐시를 8비트로 양자화하면 (위의 "KV 캐시" 설정) 크기가 절반으로 줄며, 대부분의 워크로드에서 품질 영향은 미미합니다.

소비자용 GPU vs 클라우드 GPU 사양 선택

소비자용 GPU(RTX 4060 Ti 16 GB, RTX 3090/4090 24 GB, RTX 5090 32 GB)는 7B–14B 모델을 Q8로 실행할 수 있고, 24–32 GB 카드는 30B급 모델을 Q4로 실행할 수 있습니다. Q4의 Llama 3.3 70B Instruct에는 약 49.1 GB, 즉 RTX 4090 3장이 필요합니다. Apple Silicon은 속도 대신 용량을 택한 선택지입니다. 128 GB 이상의 Mac은 어떤 단일 소비자용 GPU에도 올라가지 않는 70B급 모델과 중간 규모 MoE 모델을 로드할 수 있지만, 통합 메모리의 대역폭이 GDDR나 HBM보다 낮아 초당 토큰 수는 더 적습니다. L40S(48 GB), A100과 H100(80 GB), H200(141 GB) 같은 클라우드 GPU는 가중치가 아니라 KV 캐시가 메모리를 주로 차지하는 FP16 서빙, 롱 컨텍스트, 다수의 동시 사용자 환경에 적합합니다.

VRAM을 마지막 1기가바이트까지 꽉 채우지 말고 10–15% 여유를 남기세요. 드라이버, 디스플레이, 메모리 단편화가 모두 일부를 차지합니다. 취미용이 아니라 프로덕션용 셀프 호스팅 LLM 사양을 정하는 중이라면, 다음 질문은 비용입니다. LLM API vs 셀프 호스팅 계산기는 임대 GPU와 토큰당 과금을 비교하고, LLM 가격 계산기는 같은 워크로드를 호스팅 API로 처리할 때의 비용을 보여 줍니다. Llama, Qwen, DeepSeek 같은 오픈 웨이트 모델의 호스팅 가격은 LLM 가격표에서 확인할 수 있습니다.

다른 AI 비용 계산 도구

LLM VRAM FAQ

Llama 3.3 70B Instruct에는 VRAM이 얼마나 필요한가요?

Q4_K_M, 8K 컨텍스트 기준으로 Llama 3.3 70B Instruct에 필요한 VRAM은 총 약 49.1 GB입니다: 가중치 42.8 GB, KV 캐시 2.68 GB, 오버헤드 3.57 GB. 이는 어떤 단일 소비자용 GPU보다도 큽니다. NVIDIA A100 80GB, NVIDIA H100 80GB, NVIDIA H200 141GB, NVIDIA B200 180GB 또는 AMD MI300X 192GB 1장, 또는 MacBook Pro M4 Max 128GB 또는 Mac Studio M3 Ultra 512GB에 들어가며, 텐서 병렬로 나누면 RTX 4090 3장으로도 실행할 수 있습니다. FP16에서는 약 153.4 GB로, H100 80GB 3장이 필요합니다.

LLM을 실행하려면 VRAM이 얼마나 필요한가요?

대략적으로 파라미터 수(십억) × 가중치당 비트 수 ÷ 8 = 가중치에 필요한 GB입니다. 여기에 컨텍스트 길이와 동시 사용자 수에 따라 늘어나는 KV 캐시와 1–2 GB의 런타임 오버헤드를 더합니다. 70B 모델은 Q4_K_M에서 가중치만 약 43 GB가 필요하므로, 24 GB RTX 4090 한 장에는 들어가지 않습니다.

KV 캐시란 무엇이며 왜 중요한가요?

KV 캐시는 컨텍스트의 모든 토큰에 대한 어텐션 키와 값을 저장해 다시 계산하지 않도록 합니다. 크기 = 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 컨텍스트 길이 × 값당 바이트 × 사용자 수. 128K 컨텍스트에서는 모델 가중치보다 커질 수도 있어, 롱 컨텍스트 추론에서 메모리 부족이 자주 발생합니다.

어떤 양자화를 사용해야 하나요?

Q4_K_M은 로컬 추론에서 가장 많이 쓰이는 선택으로, FP16보다 약 70% 작고 품질 손실은 적습니다. Q8_0은 FP16의 절반 크기로 손실이 거의 없습니다. FP16/BF16은 vLLM 등 대부분의 프로덕션 서빙 스택이 사용하는 원래 정밀도입니다.

MoE 모델은 VRAM이 덜 필요한가요?

아닙니다. Qwen3-235B-A22B나 gpt-oss-120b 같은 전문가 혼합(MoE) 모델은 모든 전문가를 메모리에 올려야 하므로, VRAM은 전체 파라미터 수에 따라 결정됩니다. 활성 파라미터 수가 적어서 이득을 보는 것은 속도뿐인데, 토큰당 읽는 가중치가 적기 때문입니다.

Mac의 통합 메모리 중 GPU가 사용할 수 있는 양은 얼마인가요?

기본적으로 macOS는 GPU가 통합 메모리의 약 65–75%를 wired 메모리로 쓰도록 허용합니다. 이 계산기는 75%를 가정합니다(64 GB MacBook Pro에서 48 GB, 128 GB에서 96 GB). sudo sysctl iogpu.wired_limit_mb로 한도를 높일 수 있지만, 위험은 본인이 감수해야 합니다.

Ollama나 llama.cpp가 사용하는 VRAM과 같은가요?

거의 같습니다. Ollama와 llama.cpp는 GGUF 파일을 로드하며, 같은 양자화라면 파일 크기가 여기의 가중치 수치와 일치합니다. Ollama는 num_ctx로 설정한 전체 컨텍스트만큼 KV 캐시를 할당하고, 병렬 요청을 처리할 때는 추가 사본도 할당하므로 컨텍스트와 사용자 수 필드를 Ollama 설정에 맞추세요. 합계가 VRAM을 넘으면 Ollama는 레이어를 시스템 RAM으로 오프로드하고 생성 속도가 크게 떨어집니다.

초당 토큰 수 추정치는 얼마나 정확한가요?

단일 사용자 기준의 메모리 대역폭 추정치입니다: 대역폭 × 약 65% 효율 ÷ 토큰당 읽는 활성 가중치 바이트. 실제 속도는 추론 엔진, 배치 크기, 모델을 여러 GPU에 나눠 실행하는지에 따라 달라집니다. 대략적인 참고치로 보세요.