Guida
API LLM vs self-hosting: i conti del break-even
La domanda non è se una GPU costi meno di una API, ma se riesci a tenerla abbastanza occupata. Una API a token fattura solo ciò che usi. Una GPU dedicata fattura ogni ora in cui è accesa, che lavori o resti inattiva. Il self-hosting conviene solo quando il tuo volume mensile stabile è abbastanza grande da distribuire quel costo fisso al di sotto del prezzo per token dell'API.
1. API a token
Il costo cresce linearmente con il volume: token mensili × prezzo ponderato per 1M, dove il prezzo ponderato (blended) pesa input e output in base al tuo mix di traffico. Con una quota di token di input pari a 75%, GPT-6.2 Sol costa circa $4.00 per 1M di token. Nessun minimo, nessun costo da inattività, e il provider si occupa di scalabilità e uptime. Il calcolatore prezzi LLM aggiunge caching, batch e loop di agenti a questo lato del confronto.
2. API in hosting di modelli open-weight
I provider di inferenza servono modelli open come Llama 3.3 70B Instruct su GPU condivise e fatturano comunque a token, qui circa $0.155 per 1M di token (prezzo ponderato). Poiché mantengono le loro GPU sature grazie a migliaia di clienti, di solito costano molto meno sia di una API frontier sia di una GPU noleggiata da te. Confronta i prezzi dei modelli open-weight in hosting nella tabella prezzi delle API LLM. Per molti team è questa, e non il self-hosting, la vera alternativa a una API closed.
3. GPU cloud dedicate
Un deployment in self-hosting costa tariffa oraria × 730 ore × GPU per replica × repliche al mese, indipendentemente dal traffico. Una NVIDIA H100 80GB a $2.39/ora costa $1,745 al mese. La sua capacità dipende dal throughput di decode: quanti token di output al secondo la GPU riesce a generare con il continuous batching in vLLM, SGLang o TGI. A pieno utilizzo, la configurazione qui sopra produce token a circa $0.8555 per 1M. Questo è il caso migliore. Con un utilizzo medio del 30% il prezzo effettivo sale a $2.85 per 1M.
Come trovare il tuo punto di break-even
Il break-even è il volume mensile in cui le due linee di costo si incrociano: token di break-even = costo mensile GPU ÷ prezzo API per token. Al di sotto conviene l'API; al di sopra conviene la GPU, finché non superi la capacità di una replica e te ne serve un'altra. Per GPT-6.2 Sol contro Llama 3.3 70B Instruct su una NVIDIA H100 80GB, il punto di pareggio è di circa 872.35M token al mese. Il grafico qui sopra mostra tutte e tre le opzioni, così puoi vedere dove si incrociano le linee.
Quattro fattori spostano più di tutti il punto di break-even:
- Utilizzo. Un traffico che ha picchi in orario d'ufficio e cala di notte lascia inattive le GPU a noleggio. I carichi a raffica favoriscono le API.
- Dimensione del modello e quantizzazione. Un modello da 70B in FP16 richiede più GPU da 80 GB per replica; a 4 bit ne basta una. Dimensiona l'hardware con il calcolatore VRAM per LLM.
- Mix input/output. Il prefill (input) è parecchie volte più veloce del decode (output), quindi i carichi con molto input, come RAG e classificazione, ottengono più token per ora di GPU.
- L'API con cui confronti. Contro un modello di punta, una GPU può ripagarsi con centinaia di milioni di token al mese. Contro una API economica o un modello open-weight in hosting, potrebbe non ripagarsi mai.
Quando conviene il self-hosting di un LLM
Il prezzo raramente è l'unico motivo. Il self-hosting ha senso quando i dati devono restare all'interno della tua infrastruttura, vuoi servire un fine-tune personalizzato, ti serve capacità garantita senza rate limit, oppure hai un volume alto e stabile che mantiene le GPU sopra il 50% di utilizzo circa. In produzione prevedi almeno due repliche, più il tempo di sviluppo per deployment, monitoraggio e aggiornamenti, che questo calcolatore non considera. Se questi motivi non si applicano, una API a token, spesso una API open-weight in hosting, è di solito la scelta più economica e più semplice. I carichi vocali seguono la stessa logica; consulta il calcolatore dei costi degli agenti vocali AI per i costi al minuto.