Guide
Combien de VRAM faut-il pour faire tourner un LLM ?
C’est la mémoire GPU, et non la puissance de calcul, qui détermine si un modèle peut tourner en local. Si le modèle ne tient pas dans la VRAM, llama.cpp et Ollama déportent des couches dans la RAM système et la génération passe de plusieurs dizaines de tokens par seconde à une allure d’escargot. La VRAM totale se compose de trois parties :
- Poids = paramètres × bits par poids ÷ 8. Q4_K_M fait en moyenne ~4,85 bits, Q8_0 ~8,5 bits, FP16 16 bits.
- KV cache = 2 × couches × têtes KV × dim. de tête × contexte × utilisateurs × octets par valeur. La multi-head latent attention de DeepSeek stocke à la place un seul latent compressé de 576 dimensions par couche, d’où un cache bien plus petit.
- Surcoût ≈ 1 GB de contexte CUDA/Metal + ~6 % des poids pour les activations et les buffers de travail, plus un peu par utilisateur supplémentaire.
Poids du modèle et quantification : Q4 vs Q8 vs FP16
Les poids sont le coût fixe. Chaque paramètre doit résider en mémoire : la taille d’un modèle en milliards de paramètres fixe donc le plancher. La quantification réduit chaque paramètre de 16 bits à 8 ou environ 4, en échangeant un peu de précision contre une empreinte bien plus faible. Voici ce que cela donne pour deux modèles Llama populaires avec un contexte de 8K :
| Quantification | Llama 3.1 8B Instruct | Llama 3.3 70B Instruct |
|---|---|---|
| Q4_K_M (4 bits) | 7.21 GB | 49.1 GB |
| Q8_0 / FP8 (8 bits) | 11.1 GB | 83.2 GB |
| FP16 / BF16 (16 bits) | 19.0 GB | 153.4 GB |
Q4_K_M est le choix par défaut pour l’inférence locale avec Ollama et LM Studio : environ 70 % plus petit que FP16, avec une perte de qualité que la plupart des gens ne remarquent jamais en conversation. Q8_0 est quasiment sans perte et constitue un bon choix si vous avez la mémoire nécessaire. FP16/BF16 est ce que les serveurs de production comme vLLM utilisent par défaut, et c’est la référence pour le fine-tuning. En dessous d’environ 3 bits par poids, la qualité chute rapidement : un modèle plus petit en Q4 bat généralement un modèle plus gros compressé en Q2.
Croissance du KV cache avec la longueur de contexte
Le KV cache est le coût variable, et c’est lui qui prend les gens au dépourvu. Il stocke les clés et valeurs d’attention de chaque token de la fenêtre de contexte : il croît donc linéairement avec la longueur de contexte et avec le nombre d’utilisateurs simultanés. Pour Llama 3.3 70B Instruct en Q4, le KV cache occupe 2.68 GB avec un contexte de 8K, 42.9 GB à 128K, et 171.8 GB si quatre utilisateurs ont chacun un contexte de 128K. Un modèle qui tient confortablement à 8K peut manquer de mémoire en contexte long. Quantifier le KV cache en 8 bits (le réglage « KV cache » ci-dessus) le divise par deux, avec peu d’impact sur la qualité pour la plupart des usages.
Dimensionner : GPU grand public vs GPU cloud
Les GPU grand public (RTX 4060 Ti 16 GB, RTX 3090/4090 24 GB, RTX 5090 32 GB) font tourner des modèles de 7B à 14B en Q8, et les cartes de 24 à 32 GB gèrent les modèles de classe 30B en Q4. Llama 3.3 70B Instruct en Q4 nécessite environ 49.1 GB, soit 3× RTX 4090. Apple Silicon échange la vitesse contre la capacité : un Mac de 128 GB ou plus peut charger des modèles de classe 70B et des modèles mixture-of-experts de taille moyenne qu’aucun GPU grand public seul ne peut contenir, avec moins de tokens par seconde car la mémoire unifiée a moins de bande passante que la GDDR ou la HBM. Les GPU cloud comme le L40S (48 GB), l’A100 et le H100 (80 GB) et le H200 (141 GB) sont adaptés au service en FP16, aux contextes longs et aux nombreux utilisateurs simultanés, où c’est le KV cache, et non les poids, qui domine la mémoire.
Gardez 10 à 15 % de marge plutôt que de remplir la VRAM jusqu’au dernier gigaoctet : les pilotes, l’affichage et la fragmentation en prennent tous une part. Si vous dimensionnez un LLM auto-hébergé pour la production plutôt qu’une installation de loisir, la question suivante est le coût : le calculateur API LLM vs auto-hébergement compare un GPU loué à la tarification au token, et le calculateur de prix LLM montre ce que coûte la même charge de travail sur des API hébergées. Les prix hébergés des modèles open-weight comme Llama, Qwen et DeepSeek figurent dans le tableau des prix LLM.