가이드
LLM을 실행하려면 VRAM이 얼마나 필요할까?
모델을 로컬에서 실행할 수 있는지 여부는 연산 성능이 아니라 GPU 메모리가 결정합니다. 모델이 VRAM에 들어가지 않으면 llama.cpp와 Ollama는 일부 레이어를 시스템 RAM으로 넘기고, 생성 속도는 초당 수십 토큰에서 거의 기어가는 수준으로 떨어집니다. 전체 VRAM은 세 부분으로 구성됩니다:
- 가중치 = 파라미터 수 × 가중치당 비트 수 ÷ 8. Q4_K_M은 평균 ~4.85비트, Q8_0은 ~8.5비트, FP16은 16비트입니다.
- KV 캐시 = 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 컨텍스트 × 사용자 수 × 값당 바이트. DeepSeek의 멀티헤드 잠재 어텐션은 대신 레이어당 압축된 576차원 잠재 벡터 하나만 저장하므로 캐시가 훨씬 작습니다.
- 오버헤드 ≈ CUDA/Metal 컨텍스트 1 GB + 활성화 값과 스크래치 버퍼용 가중치의 ~6%, 그리고 사용자가 추가될 때마다 약간씩 더해집니다.
모델 가중치와 양자화: Q4 vs Q8 vs FP16
가중치는 고정 비용입니다. 모든 파라미터가 메모리에 올라가야 하므로, 수십억 단위의 파라미터 수가 최소 용량을 정합니다. 양자화는 파라미터 하나를 16비트에서 8비트 또는 약 4비트로 줄여, 약간의 정확도를 내주는 대신 메모리 사용량을 크게 줄입니다. 8K 컨텍스트에서 인기 있는 Llama 모델 두 개를 예로 들면 다음과 같습니다:
| 양자화 | Llama 3.1 8B Instruct | Llama 3.3 70B Instruct |
|---|---|---|
| Q4_K_M (4비트) | 7.21 GB | 49.1 GB |
| Q8_0 / FP8 (8비트) | 11.1 GB | 83.2 GB |
| FP16 / BF16 (16비트) | 19.0 GB | 153.4 GB |
Q4_K_M은 Ollama와 LM Studio로 로컬 추론할 때의 기본값입니다. FP16보다 약 70% 작으면서도, 채팅에서는 대부분의 사람이 품질 저하를 느끼지 못합니다. Q8_0은 손실이 거의 없어 메모리가 충분하다면 좋은 선택입니다. FP16/BF16은 vLLM 같은 프로덕션 서버가 기본으로 사용하는 정밀도이며, 파인튜닝의 기준이기도 합니다. 가중치당 약 3비트 아래로 내려가면 품질이 급격히 떨어지므로, 큰 모델을 Q2로 억지로 줄이는 것보다 작은 모델을 Q4로 쓰는 편이 보통 낫습니다.
컨텍스트 길이에 따른 KV 캐시 증가
KV 캐시는 변동 비용이며, 많은 사람이 간과하는 부분입니다. 컨텍스트 윈도의 모든 토큰에 대한 어텐션 키와 값을 저장하므로, 컨텍스트 길이와 동시 사용자 수에 비례해 선형으로 증가합니다. Q4의 Llama 3.3 70B Instruct 기준으로 KV 캐시는 8K 컨텍스트에서 2.68 GB, 128K에서 42.9 GB, 사용자 4명이 각각 128K 컨텍스트를 사용하면 171.8 GB를 차지합니다. 8K에서 여유 있게 돌아가던 모델도 롱 컨텍스트에서는 메모리가 부족해질 수 있습니다. KV 캐시를 8비트로 양자화하면 (위의 "KV 캐시" 설정) 크기가 절반으로 줄며, 대부분의 워크로드에서 품질 영향은 미미합니다.
소비자용 GPU vs 클라우드 GPU 사양 선택
소비자용 GPU(RTX 4060 Ti 16 GB, RTX 3090/4090 24 GB, RTX 5090 32 GB)는 7B–14B 모델을 Q8로 실행할 수 있고, 24–32 GB 카드는 30B급 모델을 Q4로 실행할 수 있습니다. Q4의 Llama 3.3 70B Instruct에는 약 49.1 GB, 즉 RTX 4090 3장이 필요합니다. Apple Silicon은 속도 대신 용량을 택한 선택지입니다. 128 GB 이상의 Mac은 어떤 단일 소비자용 GPU에도 올라가지 않는 70B급 모델과 중간 규모 MoE 모델을 로드할 수 있지만, 통합 메모리의 대역폭이 GDDR나 HBM보다 낮아 초당 토큰 수는 더 적습니다. L40S(48 GB), A100과 H100(80 GB), H200(141 GB) 같은 클라우드 GPU는 가중치가 아니라 KV 캐시가 메모리를 주로 차지하는 FP16 서빙, 롱 컨텍스트, 다수의 동시 사용자 환경에 적합합니다.
VRAM을 마지막 1기가바이트까지 꽉 채우지 말고 10–15% 여유를 남기세요. 드라이버, 디스플레이, 메모리 단편화가 모두 일부를 차지합니다. 취미용이 아니라 프로덕션용 셀프 호스팅 LLM 사양을 정하는 중이라면, 다음 질문은 비용입니다. LLM API vs 셀프 호스팅 계산기는 임대 GPU와 토큰당 과금을 비교하고, LLM 가격 계산기는 같은 워크로드를 호스팅 API로 처리할 때의 비용을 보여 줍니다. Llama, Qwen, DeepSeek 같은 오픈 웨이트 모델의 호스팅 가격은 LLM 가격표에서 확인할 수 있습니다.