가이드
LLM API vs 셀프 호스팅: 손익분기점 계산법
핵심은 GPU가 API보다 저렴한지가 아니라, GPU를 충분히 바쁘게 돌릴 수 있는지입니다. 토큰당 과금 API는 사용한 만큼만 청구합니다. 전용 GPU는 바쁘든 놀든 켜져 있는 모든 시간에 대해 청구됩니다. 셀프 호스팅은 꾸준한 월간 사용량이 충분히 커서 그 고정 비용을 API의 토큰당 가격보다 얇게 분산시킬 수 있을 때만 유리합니다.
1. 토큰당 과금 API
비용은 사용량에 정비례합니다: monthly tokens × blended price per 1M. 여기서 혼합 가격은 트래픽 구성에 따라 입력과 출력 가격을 가중 평균한 값입니다. 입력 토큰 비율이 75%라면 GPT-6.2 Sol의 가격은 1M 토큰당 약 $4.00입니다. 최소 사용량도, 유휴 비용도 없으며 확장과 가용성은 제공업체가 책임집니다. LLM 가격 계산기는 이 쪽 비교에 캐싱, 배치, 에이전트 루프를 추가로 반영합니다.
2. 호스팅형 오픈 웨이트 API
추론 제공업체는 Llama 3.3 70B Instruct 같은 오픈 모델을 공유 GPU에서 서빙하며 여전히 토큰당 과금합니다(여기서는 혼합 기준 1M당 약 $0.155). 이들은 수천 명의 고객으로 GPU를 꽉 채워 운영하기 때문에, 보통 프런티어 API나 직접 임대한 GPU보다 훨씬 저렴합니다. 호스팅형 오픈 웨이트 가격은 LLM API 가격표에서 비교하세요. 많은 팀에게 클로즈드 API의 진짜 대안은 셀프 호스팅이 아니라 바로 이것입니다.
3. 전용 클라우드 GPU
셀프 호스팅 배포 비용은 트래픽과 관계없이 매월 hourly rate × 730 hours × GPUs per replica × replicas입니다. 시간당 $2.39인 NVIDIA H100 80GB 한 장은 월 $1,745입니다. 처리 용량은 디코드 처리량, 즉 vLLM, SGLang, TGI에서 연속 배칭(continuous batching)으로 GPU가 초당 생성할 수 있는 출력 토큰 수에 달려 있습니다. 가동률 100%일 때 위 구성은 약 1M당 $0.8555에 토큰을 생성합니다. 이것이 최선의 경우입니다. 평균 가동률이 30%라면 실질 가격은 1M당 $2.85로 올라갑니다.
손익분기점을 찾는 방법
손익분기점은 두 비용 곡선이 만나는 월간 사용량입니다: break-even tokens = GPU monthly cost ÷ API price per token. 그보다 적으면 API가 저렴하고, 그보다 많으면 GPU가 저렴합니다. 단, 레플리카 하나의 처리 용량을 넘어서면 레플리카를 하나 더 늘려야 합니다. GPT-6.2 Sol 대비 NVIDIA H100 80GB에서 실행하는 Llama 3.3 70B Instruct 모델의 전환 지점은 약 월 872.35M 토큰입니다. 위 차트는 세 가지 옵션을 모두 표시하므로 곡선이 어디서 만나는지 확인할 수 있습니다.
손익분기점에 가장 큰 영향을 주는 네 가지 요소:
- 가동률. 업무 시간에 몰리고 밤에 줄어드는 트래픽은 임대한 GPU를 놀게 만듭니다. 트래픽 변동이 큰 워크로드에는 API가 유리합니다.
- 모델 크기와 양자화. 70B 모델은 FP16에서 레플리카당 80 GB GPU 여러 장이 필요하지만, 4비트에서는 한 장에 들어갑니다. LLM VRAM 계산기로 하드웨어 사양을 정하세요.
- 입력/출력 비율. 프리필(입력)은 디코드(출력)보다 몇 배 빠르므로, RAG나 분류처럼 입력 비중이 큰 워크로드는 GPU 시간당 더 많은 토큰을 처리합니다.
- 비교 대상 API. 플래그십 모델과 비교하면 월 수억 토큰에서 GPU가 이득이 될 수 있습니다. 저가 API나 호스팅형 오픈 웨이트 API와 비교하면 끝내 이득이 되지 않을 수도 있습니다.
LLM을 셀프 호스팅해야 할 때
가격만이 이유인 경우는 드뭅니다. 데이터를 자체 인프라 안에 두어야 할 때, 커스텀 파인튜닝 모델을 서빙하고 싶을 때, 레이트 리밋 없이 보장된 처리 용량이 필요할 때, 또는 GPU 가동률을 약 50% 이상으로 유지할 만큼 사용량이 많고 꾸준할 때 셀프 호스팅이 합리적입니다. 프로덕션에서는 최소 레플리카 두 개와 함께, 이 계산기가 제외하는 배포, 모니터링, 업그레이드에 드는 엔지니어링 시간도 예산에 넣으세요. 이런 이유가 해당하지 않는다면 토큰당 과금 API, 특히 호스팅형 오픈 웨이트 API가 보통 더 저렴하고 간단한 선택입니다. 음성 워크로드도 같은 논리를 따릅니다. 분당 비용은 AI 음성 에이전트 비용 계산기에서 확인하세요.