Guia
Quanta VRAM você precisa para rodar um LLM?
É a memória da GPU, e não o poder de processamento, que decide se um modelo vai rodar localmente ou não. Se o modelo não cabe na VRAM, o llama.cpp e o Ollama jogam camadas para a RAM do sistema e a geração cai de dezenas de tokens por segundo para uma lentidão extrema. A VRAM total tem três partes:
- Pesos = parâmetros × bits por peso ÷ 8. O Q4_K_M tem em média ~4,85 bits, o Q8_0 ~8,5 bits e o FP16 16 bits.
- KV cache = 2 × camadas × KV heads × head dim × contexto × usuários × bytes por valor. A multi-head latent attention do DeepSeek armazena, em vez disso, um único latente comprimido de 576 dimensões por camada, então o cache dele é bem menor.
- Overhead ≈ 1 GB de contexto CUDA/Metal + ~6% dos pesos para ativações e buffers temporários, mais um pouco por usuário adicional.
Pesos do modelo e quantização: Q4 vs Q8 vs FP16
Os pesos são o custo fixo. Todo parâmetro precisa ficar na memória, então o tamanho do modelo em bilhões de parâmetros define o piso. A quantização reduz cada parâmetro de 16 bits para 8 ou cerca de 4, trocando um pouco de precisão por um consumo de memória muito menor. Veja o que isso significa para dois modelos Llama populares com contexto de 8K:
| Quantização | Llama 3.1 8B Instruct | Llama 3.3 70B Instruct |
|---|---|---|
| Q4_K_M (4 bits) | 7.21 GB | 49.1 GB |
| Q8_0 / FP8 (8 bits) | 11.1 GB | 83.2 GB |
| FP16 / BF16 (16 bits) | 19.0 GB | 153.4 GB |
Q4_K_M é o padrão para inferência local com Ollama e LM Studio: cerca de 70% menor que o FP16, com uma perda de qualidade que a maioria das pessoas nunca percebe em chat. Q8_0 é praticamente sem perdas e uma boa escolha quando você tem memória sobrando. FP16/BF16 é o que servidores de produção como o vLLM rodam por padrão, e é a base para fine-tuning. Abaixo de cerca de 3 bits por peso, a qualidade cai rapidamente, então um modelo menor em Q4 costuma ser melhor que um maior espremido em Q2.
Crescimento do KV cache com o tamanho do contexto
O KV cache é o custo variável, e é ele que pega as pessoas de surpresa. Ele armazena as keys e values de atenção de cada token da janela de contexto, então cresce linearmente com o tamanho do contexto e com o número de usuários simultâneos. Para o Llama 3.3 70B Instruct em Q4, o KV cache ocupa 2.68 GB com contexto de 8K, 42.9 GB com 128K e 171.8 GB se quatro usuários mantiverem 128K de contexto cada. Um modelo que cabe com folga em 8K pode ficar sem memória com contexto longo. Quantizar o KV cache para 8 bits (a opção "KV cache" acima) reduz o tamanho dele pela metade, com pouco impacto na qualidade na maioria das cargas de trabalho.
Dimensionamento de GPU: consumo vs nuvem
GPUs de consumo (RTX 4060 Ti 16 GB, RTX 3090/4090 24 GB, RTX 5090 32 GB) rodam modelos de 7B–14B em Q8, e as placas de 24–32 GB aguentam modelos da classe de 30B em Q4. O Llama 3.3 70B Instruct em Q4 precisa de cerca de 49.1 GB, ou 3× RTX 4090. O Apple Silicon troca velocidade por capacidade: um Mac com 128 GB ou mais consegue carregar modelos da classe de 70B e modelos mixture-of-experts de porte médio que nenhuma GPU de consumo sozinha consegue comportar, com menos tokens por segundo porque a memória unificada tem menos largura de banda que GDDR ou HBM. GPUs na nuvem como a L40S (48 GB), a A100 e a H100 (80 GB) e a H200 (141 GB) são a escolha certa para servir em FP16, contextos longos e muitos usuários simultâneos, quando é o KV cache, e não os pesos, que domina a memória.
Deixe 10–15% de folga em vez de ocupar a VRAM até o último gigabyte; drivers, a tela e a fragmentação também consomem uma parte. Se você está dimensionando um LLM self-hosted para produção, e não para um setup de hobby, a próxima pergunta é o custo: a calculadora de API de LLM vs self-hosting compara uma GPU alugada com o preço por token, e a calculadora de preço de LLM mostra quanto a mesma carga de trabalho custa em APIs hospedadas. Os preços hospedados de modelos open-weight como Llama, Qwen e DeepSeek estão na tabela de preços de LLMs.