Guía
API de LLM vs. self-hosting: el cálculo del punto de equilibrio
La pregunta no es si una GPU es más barata que una API, sino si puedes mantener la GPU lo bastante ocupada. Una API por token solo cobra lo que usas. Una GPU dedicada cobra cada hora que está encendida, ocupada o inactiva. El self-hosting solo gana cuando tu volumen mensual estable es lo bastante grande como para repartir ese costo fijo por debajo del precio por token de la API.
1. API por token
El costo crece linealmente con el volumen: tokens mensuales × precio combinado por 1M, donde el precio combinado pondera la entrada y la salida según tu mezcla de tráfico. Con un 75% de tokens de entrada, GPT-6.2 Sol sale a unos $4.00 por 1M de tokens. Sin mínimos, sin costo por inactividad, y el proveedor se encarga del escalado y la disponibilidad. La calculadora de precios de LLM añade caché, batch y bucles de agentes a este lado de la comparación.
2. API alojadas de modelos open-weight
Los proveedores de inferencia sirven modelos abiertos como Llama 3.3 70B Instruct en GPU compartidas y siguen cobrando por token, en este caso unos $0.155 por 1M combinado. Como mantienen sus GPU saturadas con miles de clientes, suelen ser mucho más baratos que una API de frontera y que una GPU alquilada por tu cuenta. Compara los precios alojados de modelos open-weight en la tabla de precios de API de LLM. Para muchos equipos, esta, y no el self-hosting, es la verdadera alternativa a una API cerrada.
3. GPU dedicadas en la nube
Un despliegue propio cuesta tarifa por hora × 730 horas × GPU por réplica × réplicas al mes, independientemente del tráfico. Una NVIDIA H100 80GB a $2.39/hora son $1,745 al mes. Su capacidad depende del throughput de decodificación: cuántos tokens de salida por segundo puede generar la GPU con continuous batching en vLLM, SGLang o TGI. A plena utilización, la configuración de arriba produce tokens por unos $0.8555 por 1M. Ese es el mejor caso. Con una utilización media del 30%, el precio efectivo sube a $2.85 por 1M.
Cómo encontrar tu punto de equilibrio
El punto de equilibrio es el volumen mensual en el que se cruzan las dos líneas de costo: tokens de equilibrio = costo mensual de la GPU ÷ precio de la API por token. Por debajo, la API es más barata; por encima, lo es la GPU, hasta que superas la capacidad de una réplica y necesitas otra. Para GPT-6.2 Sol frente a Llama 3.3 70B Instruct en una NVIDIA H100 80GB, el punto de cruce está en unos 872.35M tokens al mes. El gráfico de arriba muestra las tres opciones para que veas dónde se cruzan las líneas.
Cuatro factores son los que más mueven el punto de equilibrio:
- Utilización. El tráfico que alcanza su pico en horario de oficina y cae por la noche deja las GPU alquiladas inactivas. Las cargas de trabajo irregulares favorecen a las API.
- Tamaño del modelo y cuantización. Un modelo de 70B en FP16 necesita varias GPU de 80 GB por réplica; en 4 bits cabe en una. Dimensiona el hardware con la calculadora de VRAM para LLM.
- Mezcla de entrada y salida. El prefill (entrada) es varias veces más rápido que la decodificación (salida), así que las cargas con mucha entrada, como RAG y clasificación, obtienen más tokens por hora de GPU.
- Con qué API comparas. Frente a un modelo insignia, una GPU puede compensar con cientos de millones de tokens al mes. Frente a una API económica o una API open-weight alojada, puede que nunca compense.
Cuándo alojar tu propio LLM
El precio rara vez es la única razón. El self-hosting tiene sentido cuando necesitas que los datos se queden dentro de tu propia infraestructura, quieres servir un fine-tune personalizado, necesitas capacidad garantizada sin límites de tasa o tienes un volumen alto y estable que mantiene las GPU por encima de aproximadamente el 50% de utilización. Presupuesta al menos dos réplicas en producción, además del tiempo de ingeniería para el despliegue, la monitorización y las actualizaciones, que esta calculadora no incluye. Si esas razones no se aplican, una API por token, a menudo una API open-weight alojada, suele ser la opción más barata y sencilla. Las cargas de trabajo de voz siguen la misma lógica; consulta la calculadora de costos de agentes de voz con IA para ver los costos por minuto.