Ratgeber
Wie viel VRAM braucht man, um ein LLM auszuführen?
Ob ein Modell überhaupt lokal läuft, entscheidet der GPU-Speicher, nicht die Rechenleistung. Passt das Modell nicht in den VRAM, lagern llama.cpp und Ollama Layer in den System-RAM aus, und die Generierung bricht von zig Tokens pro Sekunde auf Schneckentempo ein. Der gesamte VRAM-Bedarf besteht aus drei Teilen:
- Gewichte = Parameter × Bits pro Gewicht ÷ 8. Q4_K_M liegt im Schnitt bei ~4,85 Bit, Q8_0 bei ~8,5 Bit, FP16 bei 16 Bit.
- KV-Cache = 2 × Layer × KV-Heads × Head-Dimension × Kontext × Nutzer × Bytes pro Wert. DeepSeeks Multi-Head Latent Attention speichert stattdessen einen komprimierten 576-dimensionalen Latent-Vektor pro Layer, daher ist sein Cache weit kleiner.
- Overhead ≈ 1 GB CUDA-/Metal-Kontext + ~6 % der Gewichte für Aktivierungen und Scratch-Buffer, plus ein wenig pro zusätzlichem Nutzer.
Modellgewichte und Quantisierung: Q4 vs. Q8 vs. FP16
Die Gewichte sind die Fixkosten. Jeder Parameter muss im Speicher liegen, daher setzt die Modellgröße in Milliarden Parametern die Untergrenze. Quantisierung verkleinert jeden Parameter von 16 Bit auf 8 oder etwa 4 Bit und tauscht ein wenig Genauigkeit gegen einen deutlich kleineren Speicherbedarf. Das bedeutet es für zwei beliebte Llama-Modelle bei 8K Kontext:
| Quantisierung | Llama 3.1 8B Instruct | Llama 3.3 70B Instruct |
|---|---|---|
| Q4_K_M (4-Bit) | 7.21 GB | 49.1 GB |
| Q8_0 / FP8 (8-Bit) | 11.1 GB | 83.2 GB |
| FP16 / BF16 (16-Bit) | 19.0 GB | 153.4 GB |
Q4_K_M ist der Standard für lokale Inferenz mit Ollama und LM Studio: rund 70 % kleiner als FP16, mit einem Qualitätsverlust, den die meisten im Chat nie bemerken. Q8_0 ist nahezu verlustfrei und eine gute Wahl, wenn Sie genug Speicher haben. FP16/BF16 ist das, was Produktionsserver wie vLLM standardmäßig ausführen, und es ist die Basis für Fine-Tuning. Unter etwa 3 Bit pro Gewicht sinkt die Qualität schnell, daher schlägt ein kleineres Modell in Q4 meist ein größeres, das auf Q2 gequetscht wurde.
Wachstum des KV-Cache mit der Kontextlänge
Der KV-Cache ist der variable Kostenfaktor, und er ist es, der viele überrascht. Er speichert Attention-Keys und -Values für jedes Token im Kontextfenster und wächst daher linear mit der Kontextlänge und der Zahl gleichzeitiger Nutzer. Für Llama 3.3 70B Instruct in Q4 belegt der KV-Cache 2.68 GB bei 8K Kontext, 42.9 GB bei 128K und 171.8 GB, wenn vier Nutzer jeweils 128K Kontext halten. Ein Modell, das bei 8K bequem passt, kann bei langem Kontext den Speicher sprengen. Den KV-Cache auf 8 Bit zu quantisieren (die Einstellung „KV-Cache“ oben) halbiert ihn, bei den meisten Workloads mit geringem Qualitätseinfluss.
Dimensionierung: Consumer- vs. Cloud-GPU
Consumer-GPUs (RTX 4060 Ti 16 GB, RTX 3090/4090 24 GB, RTX 5090 32 GB) führen 7B–14B-Modelle in Q8 aus, und die Karten mit 24–32 GB schaffen Modelle der 30B-Klasse in Q4. Llama 3.3 70B Instruct in Q4 braucht etwa 49.1 GB, also 3× RTX 4090. Apple Silicon tauscht Geschwindigkeit gegen Kapazität: Ein Mac mit 128 GB oder mehr kann Modelle der 70B-Klasse und mittelgroße Mixture-of-Experts-Modelle laden, die keine einzelne Consumer-GPU fassen kann, allerdings mit weniger Tokens pro Sekunde, weil Unified Memory weniger Bandbreite hat als GDDR oder HBM. Cloud-GPUs wie L40S (48 GB), A100 und H100 (80 GB) sowie H200 (141 GB) eignen sich für FP16-Serving, lange Kontexte und viele gleichzeitige Nutzer, wo der KV-Cache und nicht die Gewichte den Speicher dominiert.
Lassen Sie 10–15 % Reserve, statt den VRAM bis zum letzten Gigabyte zu füllen; Treiber, Display und Fragmentierung beanspruchen jeweils einen Teil. Wenn Sie ein selbst gehostetes LLM für die Produktion und nicht für ein Hobby-Setup dimensionieren, ist die nächste Frage die der Kosten: Der Rechner LLM-API vs. Self-Hosting vergleicht eine gemietete GPU mit Preisen pro Token, und der LLM-Kostenrechner zeigt, was derselbe Workload bei gehosteten APIs kostet. Gehostete Preise für Open-Weight-Modelle wie Llama, Qwen und DeepSeek finden Sie in der LLM-Preistabelle.