Saltar al contenido
LLM Pricing Calc
Tarifas de alquiler de GPU

Calculadora de VRAM para LLM: ¿cuánta memoria de GPU necesitas?

Consulta los requisitos de hardware para ejecutar un LLM en local: la memoria desglosada en pesos, KV cache y overhead, y qué GPU de consumo, Mac y GPU en la nube pueden ejecutarlo.

Cuantización
Longitud de contexto
KV cache

VRAM total necesaria

49.1 GB

Llama 3.3 70B Instruct · Q4_K_M · contexto de 8K · 1 usuario

KV cache: 320 KB / token

Pesos del modelo
42.8 GB
KV cache
2.68 GB
Overhead de ejecución
3.57 GB
Compatibilidad de hardware
HardwareMemoria utilizableCabeVelocidad est.Nube $/h
RTX 4060 Ti 16GBGPU de consumo16 GBNecesita 4×~17 tok/s—
RTX 3090 24GBGPU de consumo24 GBNecesita 3×~43 tok/s$0.66
RTX 4090 24GBGPU de consumo24 GBNecesita 3×~46 tok/s$1.02
RTX 5090 32GBGPU de consumo32 GBNecesita 2×~54 tok/s$1.38
MacBook Pro M4 Max 64GBApple Silicon48 GBNo cabe——
MacBook Pro M4 Max 128GBApple Silicon96 GBCabe~8 tok/s—
Mac Studio M3 Ultra 512GBApple Silicon384 GBCabe~12 tok/s—
NVIDIA L4 24GBGPU en la nube24 GBNecesita 3×~14 tok/s$1.32
NVIDIA L40S 48GBGPU en la nube48 GBNecesita 2×~26 tok/s$1.72
NVIDIA A100 80GBGPU en la nube80 GBCabe~31 tok/s$1.39
NVIDIA H100 80GBGPU en la nube80 GBCabe~51 tok/s$2.39
NVIDIA H200 141GBGPU en la nube141 GBCabe~73 tok/s$3.29
NVIDIA B200 180GBGPU en la nube180 GBCabe~121 tok/s$5.49
AMD MI300X 192GBGPU en la nube192 GBCabe~80 tok/s$2.49

La VRAM y el ancho de banda de memoria son especificaciones del fabricante. Las tarifas por hora son las tarifas bajo demanda de RunPod Community Cloud; otros proveedores y regiones varían. La memoria utilizable de Apple Silicon asume el límite de memoria fija para GPU predeterminado de macOS (~75% de la memoria unificada). "Necesita N×" significa paralelismo de tensores entre N GPU idénticas. Tarifas de GPU: Precios oficiales ↗

Guía

¿Cuánta VRAM necesitas para ejecutar un LLM?

Es la memoria de la GPU, no la capacidad de cómputo, lo que decide si un modelo puede ejecutarse en local. Si el modelo no cabe en la VRAM, llama.cpp y Ollama pasan capas a la RAM del sistema y la generación cae de decenas de tokens por segundo a un ritmo lentísimo. La VRAM total tiene tres partes:

  • Pesos = parámetros × bits por peso ÷ 8. Q4_K_M usa de media ~4,85 bits, Q8_0 ~8,5 bits y FP16 16 bits.
  • KV cache = 2 × capas × cabezas KV × dimensión por cabeza × contexto × usuarios × bytes por valor. La multi-head latent attention de DeepSeek guarda en su lugar un único latente comprimido de 576 dimensiones por capa, así que su caché es mucho más pequeña.
  • Overhead ≈ 1 GB de contexto CUDA/Metal + ~6% de los pesos para activaciones y búferes temporales, más un poco por cada usuario adicional.

Pesos del modelo y cuantización: Q4 vs. Q8 vs. FP16

Los pesos son el costo fijo. Cada parámetro debe estar en memoria, así que el tamaño del modelo en miles de millones de parámetros marca el mínimo. La cuantización reduce cada parámetro de 16 bits a 8 o a unos 4, a cambio de perder un poco de precisión y ocupar mucho menos. Esto es lo que supone para dos modelos Llama populares con un contexto de 8K:

VRAM por cuantización para Llama 3.1 8B Instruct y Llama 3.3 70B Instruct con un contexto de 8K
CuantizaciónLlama 3.1 8B InstructLlama 3.3 70B Instruct
Q4_K_M (4 bits)7.21 GB49.1 GB
Q8_0 / FP8 (8 bits)11.1 GB83.2 GB
FP16 / BF16 (16 bits)19.0 GB153.4 GB

Q4_K_M es la opción predeterminada para inferencia local con Ollama y LM Studio: alrededor de un 70% más pequeño que FP16, con una pérdida de calidad que la mayoría de la gente nunca nota en un chat. Q8_0 es casi sin pérdidas y una buena elección si tienes memoria suficiente. FP16/BF16 es lo que ejecutan por defecto los servidores de producción como vLLM, y es la base para el fine-tuning. Por debajo de unos 3 bits por peso, la calidad cae rápidamente, así que un modelo más pequeño en Q4 suele superar a uno más grande comprimido a Q2.

Crecimiento de la KV cache con la longitud de contexto

La KV cache es el costo variable, y es lo que suele tomar a la gente por sorpresa. Almacena las claves y los valores de atención de cada token de la ventana de contexto, así que crece linealmente con la longitud de contexto y con el número de usuarios simultáneos. Para Llama 3.3 70B Instruct en Q4, la KV cache ocupa 2.68 GB con un contexto de 8K, 42.9 GB con 128K y 171.8 GB si cuatro usuarios mantienen cada uno un contexto de 128K. Un modelo que cabe holgadamente con 8K puede quedarse sin memoria con contextos largos. Cuantizar la KV cache a 8 bits (el ajuste "KV cache" de arriba) la reduce a la mitad, con poco impacto en la calidad para la mayoría de las cargas de trabajo.

Dimensionamiento con GPU de consumo vs. GPU en la nube

Las GPU de consumo (RTX 4060 Ti 16 GB, RTX 3090/4090 24 GB, RTX 5090 32 GB) ejecutan modelos de 7B–14B en Q8, y las tarjetas de 24–32 GB pueden con modelos de la clase 30B en Q4. Llama 3.3 70B Instruct en Q4 necesita unos 49.1 GB, o 3× RTX 4090. Apple Silicon sacrifica velocidad a cambio de capacidad: un Mac de 128 GB o más puede cargar modelos de la clase 70B y modelos mixture-of-experts medianos que ninguna GPU de consumo puede alojar por sí sola, aunque con menos tokens por segundo porque la memoria unificada tiene menos ancho de banda que la GDDR o la HBM. Las GPU en la nube como la L40S (48 GB), la A100 y la H100 (80 GB) y la H200 (141 GB) son las adecuadas para servir en FP16, contextos largos y muchos usuarios simultáneos, donde la KV cache, y no los pesos, domina la memoria.

Deja un margen del 10–15% en lugar de llenar la VRAM hasta el último gigabyte; los drivers, la pantalla y la fragmentación también consumen su parte. Si estás dimensionando un LLM autoalojado para producción y no un montaje doméstico, la siguiente pregunta es el costo: la calculadora de API de LLM vs. self-hosting compara una GPU alquilada con el precio por token, y la calculadora de precios de LLM muestra cuánto cuesta la misma carga de trabajo en API alojadas. Los precios alojados de modelos open-weight como Llama, Qwen y DeepSeek están en la tabla de precios de LLM.

Más herramientas de costos de IA

Preguntas frecuentes sobre VRAM para LLM

¿Cuánta VRAM necesita Llama 3.3 70B Instruct?

En Q4_K_M con un contexto de 8K, Llama 3.3 70B Instruct necesita unos 49.1 GB en total: 42.8 GB de pesos, 2.68 GB de KV cache y 3.57 GB de overhead. Es más de lo que ofrece cualquier GPU de consumo por sí sola: cabe en una NVIDIA A100 80GB, NVIDIA H100 80GB, NVIDIA H200 141GB, NVIDIA B200 180GB o AMD MI300X 192GB, o en un MacBook Pro M4 Max 128GB o Mac Studio M3 Ultra 512GB, o en 3× RTX 4090 repartido con paralelismo de tensores. En FP16 necesita unos 153.4 GB, lo que requiere 3× H100 80GB.

¿Cuánta VRAM necesito para ejecutar un LLM?

Aproximadamente: parámetros (miles de millones) × bits por peso ÷ 8 = GB para los pesos. Suma la KV cache, que crece con la longitud de contexto y los usuarios simultáneos, más 1–2 GB de overhead de ejecución. Un modelo de 70B en Q4_K_M necesita unos 43 GB solo para los pesos, así que no cabe en una sola RTX 4090 de 24 GB.

¿Qué es la KV cache y por qué importa?

La KV cache almacena las claves y los valores de atención de cada token del contexto para no tener que volver a calcularlos. Su tamaño = 2 × capas × cabezas KV × dimensión por cabeza × longitud de contexto × bytes por valor × usuarios. Con un contexto de 128K puede ocupar más que los propios pesos del modelo, por eso la inferencia con contexto largo se queda a menudo sin memoria.

¿Qué cuantización debería usar?

Q4_K_M es la opción más popular para inferencia local: alrededor de un 70% más pequeño que FP16 con una pequeña pérdida de calidad. Q8_0 es casi sin pérdidas y ocupa la mitad que FP16. FP16/BF16 es la precisión original que usan la mayoría de los stacks de producción, como vLLM.

¿Los modelos MoE necesitan menos VRAM?

No. Los modelos mixture-of-experts como Qwen3-235B-A22B o gpt-oss-120b deben mantener todos los expertos en memoria, así que la VRAM depende del total de parámetros. Solo la velocidad se beneficia del menor número de parámetros activos, porque se leen menos pesos por token.

¿Cuánta memoria unificada de un Mac puede usar la GPU?

Por defecto, macOS permite que la GPU reserve aproximadamente el 65–75% de la memoria unificada. Esta calculadora asume un 75% (48 GB en un MacBook Pro de 64 GB, 96 GB en uno de 128 GB). Puedes aumentar el límite con sudo sysctl iogpu.wired_limit_mb, bajo tu propia responsabilidad.

¿Es la misma VRAM que usan Ollama y llama.cpp?

Muy parecida. Ollama y llama.cpp cargan archivos GGUF, cuyo tamaño coincide con la cifra de pesos de esta calculadora para la misma cuantización. Ollama también reserva la KV cache para todo el contexto que configures con num_ctx, y copias adicionales cuando atiende solicitudes en paralelo, así que ajusta los campos de contexto y usuarios para que coincidan con tu configuración de Ollama. Si el total supera tu VRAM, Ollama pasa capas a la RAM del sistema y la generación se ralentiza mucho.

¿Qué tan precisa es la estimación de tokens por segundo?

Es una estimación basada en el ancho de banda de memoria para un solo usuario: ancho de banda × ~65% de eficiencia ÷ bytes de pesos activos leídos por token. La velocidad real depende del motor de inferencia, del tamaño de batch y de si el modelo está repartido entre varias GPU. Tómala como una cifra orientativa.