Vai al contenuto
LLM Pricing Calc
Ultima verifica prezzi API Tariffe di noleggio GPU

Calcolatore costi API LLM vs self-hosting

Confronta API a token, API in hosting di modelli open-weight e GPU cloud dedicate, e trova il volume mensile di token a cui il self-hosting di un LLM raggiunge il break-even.

= 2B token / mese

75% input

Lascia 0 per usare la stima (~534 tok/s).

API / mese

$8,000

GPT-6.2 Sol

Self-hosting / mese

$3,489

1 × 2 GPU, sempre accese

Volume di break-even

872.35M

token / mese

Costo mensile in funzione del volume mensile di token
Modello APIGPU in self-hostingAPI open-weight in hosting
Confronto dei costi al tuo volume
OpzioneMensilePer 1M di tokenNote

Il self-hosting presuppone un noleggio sempre attivo (730 h/mese), contesto di 8K per richiesta e KV cache in FP16. Esclusi sviluppo, ridondanza ed egress.

API: Prezzi ufficiali ↗ · Tariffe GPU: Prezzi ufficiali ↗

Guida

API LLM vs self-hosting: i conti del break-even

La domanda non è se una GPU costi meno di una API, ma se riesci a tenerla abbastanza occupata. Una API a token fattura solo ciò che usi. Una GPU dedicata fattura ogni ora in cui è accesa, che lavori o resti inattiva. Il self-hosting conviene solo quando il tuo volume mensile stabile è abbastanza grande da distribuire quel costo fisso al di sotto del prezzo per token dell'API.

1. API a token

Il costo cresce linearmente con il volume: token mensili × prezzo ponderato per 1M, dove il prezzo ponderato (blended) pesa input e output in base al tuo mix di traffico. Con una quota di token di input pari a 75%, GPT-6.2 Sol costa circa $4.00 per 1M di token. Nessun minimo, nessun costo da inattività, e il provider si occupa di scalabilità e uptime. Il calcolatore prezzi LLM aggiunge caching, batch e loop di agenti a questo lato del confronto.

2. API in hosting di modelli open-weight

I provider di inferenza servono modelli open come Llama 3.3 70B Instruct su GPU condivise e fatturano comunque a token, qui circa $0.155 per 1M di token (prezzo ponderato). Poiché mantengono le loro GPU sature grazie a migliaia di clienti, di solito costano molto meno sia di una API frontier sia di una GPU noleggiata da te. Confronta i prezzi dei modelli open-weight in hosting nella tabella prezzi delle API LLM. Per molti team è questa, e non il self-hosting, la vera alternativa a una API closed.

3. GPU cloud dedicate

Un deployment in self-hosting costa tariffa oraria × 730 ore × GPU per replica × repliche al mese, indipendentemente dal traffico. Una NVIDIA H100 80GB a $2.39/ora costa $1,745 al mese. La sua capacità dipende dal throughput di decode: quanti token di output al secondo la GPU riesce a generare con il continuous batching in vLLM, SGLang o TGI. A pieno utilizzo, la configurazione qui sopra produce token a circa $0.8555 per 1M. Questo è il caso migliore. Con un utilizzo medio del 30% il prezzo effettivo sale a $2.85 per 1M.

Come trovare il tuo punto di break-even

Il break-even è il volume mensile in cui le due linee di costo si incrociano: token di break-even = costo mensile GPU ÷ prezzo API per token. Al di sotto conviene l'API; al di sopra conviene la GPU, finché non superi la capacità di una replica e te ne serve un'altra. Per GPT-6.2 Sol contro Llama 3.3 70B Instruct su una NVIDIA H100 80GB, il punto di pareggio è di circa 872.35M token al mese. Il grafico qui sopra mostra tutte e tre le opzioni, così puoi vedere dove si incrociano le linee.

Quattro fattori spostano più di tutti il punto di break-even:

  • Utilizzo. Un traffico che ha picchi in orario d'ufficio e cala di notte lascia inattive le GPU a noleggio. I carichi a raffica favoriscono le API.
  • Dimensione del modello e quantizzazione. Un modello da 70B in FP16 richiede più GPU da 80 GB per replica; a 4 bit ne basta una. Dimensiona l'hardware con il calcolatore VRAM per LLM.
  • Mix input/output. Il prefill (input) è parecchie volte più veloce del decode (output), quindi i carichi con molto input, come RAG e classificazione, ottengono più token per ora di GPU.
  • L'API con cui confronti. Contro un modello di punta, una GPU può ripagarsi con centinaia di milioni di token al mese. Contro una API economica o un modello open-weight in hosting, potrebbe non ripagarsi mai.

Quando conviene il self-hosting di un LLM

Il prezzo raramente è l'unico motivo. Il self-hosting ha senso quando i dati devono restare all'interno della tua infrastruttura, vuoi servire un fine-tune personalizzato, ti serve capacità garantita senza rate limit, oppure hai un volume alto e stabile che mantiene le GPU sopra il 50% di utilizzo circa. In produzione prevedi almeno due repliche, più il tempo di sviluppo per deployment, monitoraggio e aggiornamenti, che questo calcolatore non considera. Se questi motivi non si applicano, una API a token, spesso una API open-weight in hosting, è di solito la scelta più economica e più semplice. I carichi vocali seguono la stessa logica; consulta il calcolatore dei costi degli agenti vocali AI per i costi al minuto.

Altri strumenti sui costi AI

FAQ su API vs self-hosting

Come si calcola il break-even tra una API LLM e una GPU?

Dividi il costo mensile della GPU per il prezzo ponderato per token dell'API. Per esempio, una GPU che costa $1,700 al mese raggiunge il break-even contro una API da $4 per milione di token a 425M di token al mese, a patto che la GPU riesca davvero a servire così tanti token. Questo calcolatore verifica anche il throughput della GPU, quindi ti avvisa quando una singola replica non regge il carico e servirebbero più GPU.

Fare self-hosting di Llama 3.3 70B Instruct costa meno che usare una API?

Contro una API frontier come GPT-6.2 Sol (circa $4.00 per 1M di token ponderati), una NVIDIA H100 80GB dedicata con Llama 3.3 70B Instruct può vincere con volumi alti e stabili. Rispetto a una API Llama 3.3 70B Instruct in hosting a circa $0.155 per 1M, il self-hosting raramente conviene sul prezzo. I fattori decisivi sono l'utilizzo, i requisiti di privacy dei dati e l'eventuale necessità di un fine-tune personalizzato.

Quando il self-hosting di un LLM costa meno di una API?

Quando il tuo volume è abbastanza alto e stabile da tenere occupata una GPU dedicata. Una H100 sempre accesa costa circa $1,700 al mese. Si ripaga solo quando altrimenti spenderesti di più in token API, in genere miliardi di token al mese contro un modello API di fascia media. Contro le API open-weight in hosting a basso costo, il self-hosting raramente vince sul solo prezzo.

Perché a volte non esiste un punto di break-even?

Se la GPU non riesce a elaborare in un mese abbastanza token da battere il prezzo per token dell'API nemmeno al 100% di utilizzo, il self-hosting non diventa mai più conveniente. Succede spesso con modelli API piccoli o economici, e con modelli open molto grandi che richiedono più GPU.

Come viene stimato il throughput della GPU?

La velocità di decode a singolo stream è stimata a partire dalla banda di memoria e dai byte di pesi attivi letti per token. Con il continuous batching (vLLM, TGI, SGLang), il throughput aggregato cresce all'incirca come concorrenza0,8. Si assume che i token di input (prefill) vengano elaborati ~8× più velocemente di quelli di output. Puoi sostituire il throughput con i numeri dei tuoi benchmark.

Quali costi non sono inclusi?

Tempo di sviluppo, monitoraggio, ridondanza (in produzione vorrai almeno due repliche), egress, storage e capacità inutilizzata di notte. Sul lato API non sono inclusi i livelli di rate limit né eventuali sconti negoziati. Considera il punto di break-even come un limite inferiore per il self-hosting.

E le API open-weight in hosting?

Provider come DeepInfra e Together servono modelli open come Llama 3.3 70B a pochi centesimi per milione di token. Condividono le GPU tra molti clienti, ed è spesso l'opzione più economica finché non ti servono isolamento dei dati, fine-tune personalizzati o capacità garantita.