Guia
API de LLM vs self-hosting: a conta do ponto de equilíbrio
A questão não é se uma GPU é mais barata que uma API. É se você consegue manter a GPU ocupada o suficiente. Uma API cobrada por token cobra só o que você usa. Uma GPU dedicada cobra cada hora em que fica ligada, ocupada ou ociosa. O self-hosting só vence quando o seu volume mensal constante é grande o bastante para diluir esse custo fixo abaixo do preço por token da API.
1. APIs cobradas por token
O custo cresce de forma linear com o volume: tokens por mês × preço combinado por 1M, em que o preço combinado pondera input e output de acordo com o seu mix de tráfego. Com 75% de tokens de input, o GPT-6.2 Sol sai por cerca de $4.00 por 1M de tokens. Sem mínimo, sem custo ocioso, e o provedor cuida da escala e da disponibilidade. A calculadora de preço de LLM acrescenta cache, batch e loops de agentes a este lado da comparação.
2. APIs hospedadas de modelos open-weight
Provedores de inferência servem modelos abertos como o Llama 3.3 70B Instruct em GPUs compartilhadas e continuam cobrando por token, aqui cerca de $0.155 por 1M de tokens (preço combinado). Como mantêm suas GPUs saturadas com milhares de clientes, costumam ser bem mais baratos que uma API de modelo de fronteira e que uma GPU que você mesmo aluga. Compare os preços hospedados de modelos open-weight na tabela de preços de API de LLM. Para muitas equipes, essa, e não o self-hosting, é a alternativa real a uma API fechada.
3. GPUs dedicadas na nuvem
Uma implantação self-hosted custa preço por hora × 730 horas × GPUs por réplica × réplicas por mês, independentemente do tráfego. Uma NVIDIA H100 80GB a $2.39/hora custa $1,745 por mês. A capacidade dela depende do throughput de decode: quantos tokens de output por segundo a GPU consegue gerar com continuous batching no vLLM, SGLang ou TGI. Com utilização total, o setup acima produz tokens por cerca de $0.8555 por 1M. Esse é o melhor cenário. Com 30% de utilização média, o preço efetivo sobe para $2.85 por 1M.
Como encontrar o seu ponto de equilíbrio
O ponto de equilíbrio é o volume mensal em que as duas linhas de custo se cruzam: tokens de equilíbrio = custo mensal da GPU ÷ preço da API por token. Abaixo dele, a API é mais barata; acima dele, a GPU é, até você passar da capacidade de uma réplica e precisar de outra. Para o GPT-6.2 Sol contra o Llama 3.3 70B Instruct em uma NVIDIA H100 80GB, o ponto de virada fica em cerca de 872.35M tokens por mês. O gráfico acima mostra as três opções para você ver onde as linhas se encontram.
Quatro fatores são os que mais mexem no ponto de equilíbrio:
- Utilização. Um tráfego que tem pico no horário comercial e cai à noite deixa GPUs alugadas ociosas. Cargas de trabalho irregulares favorecem as APIs.
- Tamanho do modelo e quantização. Um modelo de 70B em FP16 precisa de várias GPUs de 80 GB por réplica; em 4 bits, cabe em uma só. Dimensione o hardware com a calculadora de VRAM para LLM.
- Mix de input/output. O prefill (input) é várias vezes mais rápido que o decode (output), então cargas com muito input, como RAG e classificação, rendem mais tokens por hora de GPU.
- Com qual API você compara. Contra um modelo topo de linha, uma GPU pode compensar com centenas de milhões de tokens por mês. Contra uma API econômica ou uma API open-weight hospedada, pode nunca compensar.
Quando hospedar um LLM por conta própria
O preço raramente é o único motivo. O self-hosting faz sentido quando você precisa que os dados fiquem dentro da sua própria infraestrutura, quer servir um fine-tune personalizado, precisa de capacidade garantida sem rate limits ou tem um volume alto e constante que mantém as GPUs acima de cerca de 50% de utilização. Em produção, planeje pelo menos duas réplicas, além do tempo de engenharia para implantação, monitoramento e atualizações, que esta calculadora não inclui. Se esses motivos não se aplicam, uma API cobrada por token, muitas vezes uma API open-weight hospedada, costuma ser a opção mais barata e mais simples. Cargas de voz seguem a mesma lógica; veja a calculadora de custo de agente de voz com IA para custos por minuto.