Aller au contenu
LLM Pricing Calc
Tarifs de location GPU

Calculateur de VRAM LLM : combien de mémoire GPU faut-il ?

Vérifiez la configuration matérielle requise pour faire tourner un LLM en local : mémoire répartie entre poids, KV cache et surcoût, et liste des GPU grand public, Mac et GPU cloud capables de l’exécuter.

Quantification
Longueur de contexte
KV cache

VRAM totale nécessaire

49.1 GB

Llama 3.3 70B Instruct · Q4_K_M · contexte 8K · 1 utilisateur

KV cache : 320 KB / token

Poids du modèle
42.8 GB
KV cache
2.68 GB
Surcoût d’exécution
3.57 GB
Compatibilité matérielle
MatérielMémoire utilisableCompatibilitéVitesse est.Cloud $/h
RTX 4060 Ti 16GBGPU grand public16 GBNécessite 4×~17 tok/s—
RTX 3090 24GBGPU grand public24 GBNécessite 3×~43 tok/s$0.66
RTX 4090 24GBGPU grand public24 GBNécessite 3×~46 tok/s$1.02
RTX 5090 32GBGPU grand public32 GBNécessite 2×~54 tok/s$1.38
MacBook Pro M4 Max 64GBApple Silicon48 GBInsuffisant——
MacBook Pro M4 Max 128GBApple Silicon96 GBCompatible~8 tok/s—
Mac Studio M3 Ultra 512GBApple Silicon384 GBCompatible~12 tok/s—
NVIDIA L4 24GBGPU cloud24 GBNécessite 3×~14 tok/s$1.32
NVIDIA L40S 48GBGPU cloud48 GBNécessite 2×~26 tok/s$1.72
NVIDIA A100 80GBGPU cloud80 GBCompatible~31 tok/s$1.39
NVIDIA H100 80GBGPU cloud80 GBCompatible~51 tok/s$2.39
NVIDIA H200 141GBGPU cloud141 GBCompatible~73 tok/s$3.29
NVIDIA B200 180GBGPU cloud180 GBCompatible~121 tok/s$5.49
AMD MI300X 192GBGPU cloud192 GBCompatible~80 tok/s$2.49

La VRAM et la bande passante mémoire sont les spécifications des fabricants. Les tarifs horaires sont ceux de RunPod Community Cloud à la demande ; ils varient selon les fournisseurs et les régions. La mémoire utilisable des puces Apple Silicon suppose la limite GPU par défaut de macOS (~75 % de la mémoire unifiée). « Nécessite N× » signifie un parallélisme de tenseurs sur N GPU identiques. Tarifs GPU : Tarifs officiels ↗

Guide

Combien de VRAM faut-il pour faire tourner un LLM ?

C’est la mémoire GPU, et non la puissance de calcul, qui détermine si un modèle peut tourner en local. Si le modèle ne tient pas dans la VRAM, llama.cpp et Ollama déportent des couches dans la RAM système et la génération passe de plusieurs dizaines de tokens par seconde à une allure d’escargot. La VRAM totale se compose de trois parties :

  • Poids = paramètres × bits par poids ÷ 8. Q4_K_M fait en moyenne ~4,85 bits, Q8_0 ~8,5 bits, FP16 16 bits.
  • KV cache = 2 × couches × têtes KV × dim. de tête × contexte × utilisateurs × octets par valeur. La multi-head latent attention de DeepSeek stocke à la place un seul latent compressé de 576 dimensions par couche, d’où un cache bien plus petit.
  • Surcoût ≈ 1 GB de contexte CUDA/Metal + ~6 % des poids pour les activations et les buffers de travail, plus un peu par utilisateur supplémentaire.

Poids du modèle et quantification : Q4 vs Q8 vs FP16

Les poids sont le coût fixe. Chaque paramètre doit résider en mémoire : la taille d’un modèle en milliards de paramètres fixe donc le plancher. La quantification réduit chaque paramètre de 16 bits à 8 ou environ 4, en échangeant un peu de précision contre une empreinte bien plus faible. Voici ce que cela donne pour deux modèles Llama populaires avec un contexte de 8K :

VRAM selon la quantification pour Llama 3.1 8B Instruct et Llama 3.3 70B Instruct avec un contexte de 8K
QuantificationLlama 3.1 8B InstructLlama 3.3 70B Instruct
Q4_K_M (4 bits)7.21 GB49.1 GB
Q8_0 / FP8 (8 bits)11.1 GB83.2 GB
FP16 / BF16 (16 bits)19.0 GB153.4 GB

Q4_K_M est le choix par défaut pour l’inférence locale avec Ollama et LM Studio : environ 70 % plus petit que FP16, avec une perte de qualité que la plupart des gens ne remarquent jamais en conversation. Q8_0 est quasiment sans perte et constitue un bon choix si vous avez la mémoire nécessaire. FP16/BF16 est ce que les serveurs de production comme vLLM utilisent par défaut, et c’est la référence pour le fine-tuning. En dessous d’environ 3 bits par poids, la qualité chute rapidement : un modèle plus petit en Q4 bat généralement un modèle plus gros compressé en Q2.

Croissance du KV cache avec la longueur de contexte

Le KV cache est le coût variable, et c’est lui qui prend les gens au dépourvu. Il stocke les clés et valeurs d’attention de chaque token de la fenêtre de contexte : il croît donc linéairement avec la longueur de contexte et avec le nombre d’utilisateurs simultanés. Pour Llama 3.3 70B Instruct en Q4, le KV cache occupe 2.68 GB avec un contexte de 8K, 42.9 GB à 128K, et 171.8 GB si quatre utilisateurs ont chacun un contexte de 128K. Un modèle qui tient confortablement à 8K peut manquer de mémoire en contexte long. Quantifier le KV cache en 8 bits (le réglage « KV cache » ci-dessus) le divise par deux, avec peu d’impact sur la qualité pour la plupart des usages.

Dimensionner : GPU grand public vs GPU cloud

Les GPU grand public (RTX 4060 Ti 16 GB, RTX 3090/4090 24 GB, RTX 5090 32 GB) font tourner des modèles de 7B à 14B en Q8, et les cartes de 24 à 32 GB gèrent les modèles de classe 30B en Q4. Llama 3.3 70B Instruct en Q4 nécessite environ 49.1 GB, soit 3× RTX 4090. Apple Silicon échange la vitesse contre la capacité : un Mac de 128 GB ou plus peut charger des modèles de classe 70B et des modèles mixture-of-experts de taille moyenne qu’aucun GPU grand public seul ne peut contenir, avec moins de tokens par seconde car la mémoire unifiée a moins de bande passante que la GDDR ou la HBM. Les GPU cloud comme le L40S (48 GB), l’A100 et le H100 (80 GB) et le H200 (141 GB) sont adaptés au service en FP16, aux contextes longs et aux nombreux utilisateurs simultanés, où c’est le KV cache, et non les poids, qui domine la mémoire.

Gardez 10 à 15 % de marge plutôt que de remplir la VRAM jusqu’au dernier gigaoctet : les pilotes, l’affichage et la fragmentation en prennent tous une part. Si vous dimensionnez un LLM auto-hébergé pour la production plutôt qu’une installation de loisir, la question suivante est le coût : le calculateur API LLM vs auto-hébergement compare un GPU loué à la tarification au token, et le calculateur de prix LLM montre ce que coûte la même charge de travail sur des API hébergées. Les prix hébergés des modèles open-weight comme Llama, Qwen et DeepSeek figurent dans le tableau des prix LLM.

Autres outils de coût IA

FAQ VRAM LLM

Combien de VRAM faut-il pour Llama 3.3 70B Instruct ?

En Q4_K_M avec un contexte de 8K, Llama 3.3 70B Instruct nécessite environ 49.1 GB au total : 42.8 GB de poids, 2.68 GB de KV cache et 3.57 GB de surcoût. C’est plus que n’importe quel GPU grand public seul : il tient sur un NVIDIA A100 80GB, NVIDIA H100 80GB, NVIDIA H200 141GB, NVIDIA B200 180GB ou AMD MI300X 192GB, ou un MacBook Pro M4 Max 128GB ou Mac Studio M3 Ultra 512GB, ou sur 3× RTX 4090 répartis en parallélisme de tenseurs. En FP16, il nécessite environ 153.4 GB, soit 3× H100 80GB.

Combien de VRAM faut-il pour faire tourner un LLM ?

En gros : paramètres (en milliards) × bits par poids ÷ 8 = GB pour les poids. Ajoutez le KV cache, qui croît avec la longueur de contexte et le nombre d’utilisateurs simultanés, plus 1 à 2 GB de surcoût d’exécution. Un modèle 70B en Q4_K_M nécessite environ 43 GB rien que pour les poids : il ne tient donc pas sur une seule RTX 4090 de 24 GB.

Qu’est-ce que le KV cache et pourquoi est-il important ?

Le KV cache stocke les clés et valeurs d’attention de chaque token du contexte pour éviter de les recalculer. Sa taille = 2 × couches × têtes KV × dimension de tête × longueur de contexte × octets par valeur × utilisateurs. Avec un contexte de 128K, il peut dépasser la taille des poids du modèle eux-mêmes, c’est pourquoi l’inférence en contexte long manque souvent de mémoire.

Quelle quantification choisir ?

Q4_K_M est le choix le plus populaire pour l’inférence locale : environ 70 % plus petit que FP16 avec une faible perte de qualité. Q8_0 est quasiment sans perte pour la moitié de la taille de FP16. FP16/BF16 est la précision d’origine utilisée par la plupart des stacks de service en production comme vLLM.

Les modèles MoE nécessitent-ils moins de VRAM ?

Non. Les modèles mixture-of-experts comme Qwen3-235B-A22B ou gpt-oss-120b doivent garder tous les experts en mémoire : la VRAM dépend donc du nombre total de paramètres. Seule la vitesse profite du plus petit nombre de paramètres actifs, car moins de poids sont lus par token.

Quelle part de la mémoire unifiée d’un Mac le GPU peut-il utiliser ?

Par défaut, macOS laisse le GPU réserver environ 65 à 75 % de la mémoire unifiée. Ce calculateur suppose 75 % (48 GB sur un MacBook Pro de 64 GB, 96 GB sur 128 GB). Vous pouvez relever la limite avec sudo sysctl iogpu.wired_limit_mb, à vos risques et périls.

Est-ce la même VRAM qu’utilisent Ollama et llama.cpp ?

À peu près. Ollama et llama.cpp chargent des fichiers GGUF, dont la taille correspond ici à la valeur des poids pour la même quantification. Ollama alloue aussi le KV cache pour tout le contexte défini avec num_ctx, et des copies supplémentaires lorsqu’il traite des requêtes en parallèle : réglez donc les champs contexte et utilisateurs selon vos paramètres Ollama. Si le total dépasse votre VRAM, Ollama déporte des couches dans la RAM système et la génération ralentit fortement.

Quelle est la précision de l’estimation en tokens par seconde ?

Il s’agit d’une estimation fondée sur la bande passante mémoire pour un seul utilisateur : bande passante × ~65 % d’efficacité ÷ octets de poids actifs lus par token. La vitesse réelle dépend du moteur d’inférence, de la taille de batch et de la répartition éventuelle du modèle sur plusieurs GPU. Considérez-la comme un ordre de grandeur.