Ratgeber
LLM API vs. Self-Hosting: die Break-Even-Rechnung
Die Frage ist nicht, ob eine GPU günstiger ist als eine API, sondern ob Sie eine GPU ausreichend auslasten können. Eine Pay-per-Token-API berechnet nur, was Sie nutzen. Eine dedizierte GPU kostet jede Stunde, in der sie läuft, ob ausgelastet oder im Leerlauf. Self-Hosting lohnt sich erst, wenn Ihr stetiges monatliches Volumen groß genug ist, um diese Fixkosten dünner zu verteilen als den Preis pro Token der API.
1. Pay-per-Token-APIs
Die Kosten skalieren linear mit dem Volumen: Tokens pro Monat × Mischpreis pro 1 Mio., wobei der Mischpreis Input und Output nach Ihrem Traffic-Mix gewichtet. Bei 75 % Input-Tokens kostet GPT-6.2 Sol etwa $4.00 pro 1 Mio. Tokens. Kein Minimum, keine Leerlaufkosten, und der Anbieter kümmert sich um Skalierung und Verfügbarkeit. Der LLM-Kostenrechner ergänzt diese Seite des Vergleichs um Caching, Batch und Agent-Schleifen.
2. Gehostete Open-Weight-APIs
Inferenz-Anbieter betreiben offene Modelle wie Llama 3.3 70B Instruct auf geteilten GPUs und rechnen trotzdem pro Token ab, hier etwa $0.155 pro 1 Mio. (gemischt). Weil sie ihre GPUs über Tausende Kunden hinweg voll auslasten, sind sie meist deutlich günstiger als sowohl eine Frontier-API als auch eine selbst gemietete GPU. Vergleichen Sie Preise gehosteter Open-Weight-Modelle in der LLM-API-Preistabelle. Für viele Teams ist dies, nicht Self-Hosting, die echte Alternative zu einer geschlossenen API.
3. Dedizierte Cloud-GPUs
Ein selbst gehostetes Deployment kostet pro Monat Stundenpreis × 730 Stunden × GPUs pro Replika × Replikas, unabhängig vom Traffic. Eine NVIDIA H100 80GB für $2.39/Stunde kostet $1,745 im Monat. Ihre Kapazität hängt vom Decode-Durchsatz ab: wie viele Output-Tokens pro Sekunde die GPU mit Continuous Batching in vLLM, SGLang oder TGI erzeugen kann. Bei voller Auslastung produziert das Setup oben Tokens für etwa $0.8555 pro 1 Mio. Tokens. Das ist der Best Case. Bei 30 % durchschnittlicher Auslastung steigt der effektive Preis auf $2.85 pro 1 Mio.
So finden Sie Ihren Break-Even-Punkt
Der Break-Even ist das monatliche Volumen, bei dem sich die beiden Kostenlinien kreuzen: Break-Even-Tokens = GPU-Monatskosten ÷ API-Preis pro Token. Darunter ist die API günstiger, darüber die GPU, bis Sie die Kapazität einer Replika überschreiten und eine weitere brauchen. Für GPT-6.2 Sol gegenüber Llama 3.3 70B Instruct auf einer NVIDIA H100 80GB liegt der Schnittpunkt bei etwa 872.35M Tokens pro Monat. Das Diagramm oben zeigt alle drei Optionen, sodass Sie sehen, wo sich die Linien treffen.
Vier Faktoren verschieben den Break-Even-Punkt am stärksten:
- Auslastung. Traffic, der zu Bürozeiten seinen Höhepunkt hat und nachts abfällt, lässt gemietete GPUs ungenutzt. Stark schwankende Workloads sprechen für APIs.
- Modellgröße und Quantisierung. Ein 70B-Modell in FP16 braucht mehrere 80-GB-GPUs pro Replika; in 4 Bit passt es auf eine. Dimensionieren Sie die Hardware mit dem LLM-VRAM-Rechner.
- Input-/Output-Mix. Prefill (Input) ist um ein Mehrfaches schneller als Decode (Output), daher erzielen input-lastige Workloads wie RAG und Klassifizierung mehr Tokens pro GPU-Stunde.
- Mit welcher API Sie vergleichen. Gegenüber einem Flagship-Modell kann sich eine GPU ab Hunderten Millionen Tokens pro Monat lohnen. Gegenüber einer günstigen oder gehosteten Open-Weight-API lohnt sie sich womöglich nie.
Wann sich Self-Hosting eines LLM lohnt
Der Preis ist selten der einzige Grund. Self-Hosting ist sinnvoll, wenn Daten in Ihrer eigenen Infrastruktur bleiben müssen, Sie ein eigenes Fine-Tune bereitstellen wollen, garantierte Kapazität ohne Rate Limits brauchen oder ein hohes, stetiges Volumen haben, das GPUs über etwa 50 % Auslastung hält. Planen Sie in der Produktion mindestens zwei Replikas ein, plus die Engineering-Zeit für Deployment, Monitoring und Upgrades, die dieser Rechner nicht berücksichtigt. Treffen diese Gründe nicht zu, ist eine Pay-per-Token-API, oft eine gehostete Open-Weight-API, meist die günstigere und einfachere Wahl. Voice-Workloads folgen derselben Logik; Kosten pro Minute zeigt der Kostenrechner für KI-Voice-Agents.