Guida
Quanta VRAM serve per far girare un LLM?
È la memoria della GPU, non la potenza di calcolo, a decidere se un modello può girare in locale. Se il modello non entra nella VRAM, llama.cpp e Ollama spostano parte dei layer nella RAM di sistema e la generazione rallenta da decine di token al secondo a pochissimi. La VRAM totale si compone di tre parti:
- Pesi = parametri × bit per peso ÷ 8. Q4_K_M usa in media ~4,85 bit, Q8_0 ~8,5 bit, FP16 16 bit.
- KV cache = 2 × layer × KV head × head dim × contesto × utenti × byte per valore. La multi-head latent attention di DeepSeek memorizza invece un unico latente compresso a 576 dimensioni per layer, quindi la sua cache è molto più piccola.
- Overhead ≈ 1 GB di contesto CUDA/Metal + ~6% dei pesi per attivazioni e buffer temporanei, più un po' per ogni utente aggiuntivo.
Pesi del modello e quantizzazione: Q4 vs Q8 vs FP16
I pesi sono il costo fisso. Ogni parametro deve stare in memoria, quindi la dimensione di un modello in miliardi di parametri stabilisce il minimo. La quantizzazione riduce ogni parametro da 16 bit a 8 o circa 4, sacrificando un po' di accuratezza in cambio di un ingombro molto minore. Ecco cosa significa per due popolari modelli Llama con un contesto di 8K:
| Quantizzazione | Llama 3.1 8B Instruct | Llama 3.3 70B Instruct |
|---|---|---|
| Q4_K_M (4 bit) | 7.21 GB | 49.1 GB |
| Q8_0 / FP8 (8 bit) | 11.1 GB | 83.2 GB |
| FP16 / BF16 (16 bit) | 19.0 GB | 153.4 GB |
Q4_K_M è lo standard per l'inferenza locale con Ollama e LM Studio: circa il 70% più piccolo di FP16, con una perdita di qualità che in chat quasi nessuno nota. Q8_0 è quasi senza perdite ed è una buona scelta se hai memoria sufficiente. FP16/BF16 è ciò che usano di default i server di produzione come vLLM, ed è il riferimento per il fine-tuning. Sotto i 3 bit per peso circa, la qualità cala rapidamente, quindi un modello più piccolo in Q4 di solito batte uno più grande compresso in Q2.
Crescita della KV cache con la lunghezza del contesto
La KV cache è il costo variabile, ed è quella che coglie tutti di sorpresa. Memorizza le chiavi e i valori dell'attenzione per ogni token nella finestra di contesto, quindi cresce linearmente con la lunghezza del contesto e con il numero di utenti simultanei. Per Llama 3.3 70B Instruct in Q4, la KV cache occupa 2.68 GB con un contesto di 8K, 42.9 GB a 128K e 171.8 GB se quattro utenti mantengono ciascuno un contesto di 128K. Un modello che sta comodamente in memoria a 8K può esaurirla con contesti lunghi. Quantizzare la KV cache a 8 bit (l'impostazione "KV cache" qui sopra) la dimezza, con un impatto minimo sulla qualità per la maggior parte dei carichi di lavoro.
Dimensionamento: GPU consumer vs GPU cloud
Le GPU consumer (RTX 4060 Ti 16 GB, RTX 3090/4090 24 GB, RTX 5090 32 GB) fanno girare modelli da 7B–14B in Q8, e le schede da 24–32 GB gestiscono modelli della classe 30B in Q4. Llama 3.3 70B Instruct in Q4 richiede circa 49.1 GB, ovvero 3× RTX 4090. Apple Silicon sacrifica velocità in cambio di capacità: un Mac da 128 GB o più può caricare modelli della classe 70B e modelli mixture-of-experts di medie dimensioni che nessuna singola GPU consumer può contenere, ma con meno token al secondo perché la memoria unificata ha meno banda della GDDR o della HBM. Le GPU cloud come L40S (48 GB), A100 e H100 (80 GB) e H200 (141 GB) sono la scelta giusta per il serving in FP16, i contesti lunghi e molti utenti simultanei, dove a dominare la memoria è la KV cache, non i pesi.
Lascia un margine del 10–15% invece di riempire la VRAM fino all'ultimo gigabyte; driver, display e frammentazione ne occupano tutti una parte. Se stai dimensionando un LLM self-hosted per la produzione e non per un setup amatoriale, la domanda successiva è il costo: il calcolatore API LLM vs self-hosting confronta una GPU a noleggio con il prezzo a token, e il calcolatore prezzi LLM mostra quanto costa lo stesso carico di lavoro sulle API in hosting. I prezzi in hosting dei modelli open-weight come Llama, Qwen e DeepSeek sono nella tabella prezzi LLM.