본문으로 건너뛰기
LLM Pricing Calc
API 가격 최종 확인일 GPU 임대 요금

LLM API vs 셀프 호스팅 비용 계산기

토큰당 과금 API, 호스팅형 오픈 웨이트 API, 전용 클라우드 GPU를 비교하고, LLM 셀프 호스팅이 손익분기점에 도달하는 월간 토큰 사용량을 찾아보세요.

= 월 2B 토큰

입력 75%

0으로 두면 추정치(~534 tok/s)를 사용합니다.

API / 월

$8,000

GPT-6.2 Sol

셀프 호스팅 / 월

$3,489

1 × GPU 2개, 상시 가동

손익분기 사용량

872.35M

토큰 / 월

월간 토큰 사용량에 따른 월간 비용
API 모델셀프 호스팅 GPU호스팅형 오픈 웨이트 API
현재 사용량 기준 비용 비교
옵션월간1M 토큰당비고

셀프 호스팅은 상시 임대(월 730시간), 요청당 8K 컨텍스트, FP16 KV 캐시를 가정합니다. 엔지니어링, 이중화, 이그레스 비용은 제외됩니다.

API: 공식 요금 페이지 ↗ · GPU 요금: 공식 요금 페이지 ↗

가이드

LLM API vs 셀프 호스팅: 손익분기점 계산법

핵심은 GPU가 API보다 저렴한지가 아니라, GPU를 충분히 바쁘게 돌릴 수 있는지입니다. 토큰당 과금 API는 사용한 만큼만 청구합니다. 전용 GPU는 바쁘든 놀든 켜져 있는 모든 시간에 대해 청구됩니다. 셀프 호스팅은 꾸준한 월간 사용량이 충분히 커서 그 고정 비용을 API의 토큰당 가격보다 얇게 분산시킬 수 있을 때만 유리합니다.

1. 토큰당 과금 API

비용은 사용량에 정비례합니다: monthly tokens × blended price per 1M. 여기서 혼합 가격은 트래픽 구성에 따라 입력과 출력 가격을 가중 평균한 값입니다. 입력 토큰 비율이 75%라면 GPT-6.2 Sol의 가격은 1M 토큰당 약 $4.00입니다. 최소 사용량도, 유휴 비용도 없으며 확장과 가용성은 제공업체가 책임집니다. LLM 가격 계산기는 이 쪽 비교에 캐싱, 배치, 에이전트 루프를 추가로 반영합니다.

2. 호스팅형 오픈 웨이트 API

추론 제공업체는 Llama 3.3 70B Instruct 같은 오픈 모델을 공유 GPU에서 서빙하며 여전히 토큰당 과금합니다(여기서는 혼합 기준 1M당 약 $0.155). 이들은 수천 명의 고객으로 GPU를 꽉 채워 운영하기 때문에, 보통 프런티어 API나 직접 임대한 GPU보다 훨씬 저렴합니다. 호스팅형 오픈 웨이트 가격은 LLM API 가격표에서 비교하세요. 많은 팀에게 클로즈드 API의 진짜 대안은 셀프 호스팅이 아니라 바로 이것입니다.

3. 전용 클라우드 GPU

셀프 호스팅 배포 비용은 트래픽과 관계없이 매월 hourly rate × 730 hours × GPUs per replica × replicas입니다. 시간당 $2.39인 NVIDIA H100 80GB 한 장은 월 $1,745입니다. 처리 용량은 디코드 처리량, 즉 vLLM, SGLang, TGI에서 연속 배칭(continuous batching)으로 GPU가 초당 생성할 수 있는 출력 토큰 수에 달려 있습니다. 가동률 100%일 때 위 구성은 약 1M당 $0.8555에 토큰을 생성합니다. 이것이 최선의 경우입니다. 평균 가동률이 30%라면 실질 가격은 1M당 $2.85로 올라갑니다.

손익분기점을 찾는 방법

손익분기점은 두 비용 곡선이 만나는 월간 사용량입니다: break-even tokens = GPU monthly cost ÷ API price per token. 그보다 적으면 API가 저렴하고, 그보다 많으면 GPU가 저렴합니다. 단, 레플리카 하나의 처리 용량을 넘어서면 레플리카를 하나 더 늘려야 합니다. GPT-6.2 Sol 대비 NVIDIA H100 80GB에서 실행하는 Llama 3.3 70B Instruct 모델의 전환 지점은 약 월 872.35M 토큰입니다. 위 차트는 세 가지 옵션을 모두 표시하므로 곡선이 어디서 만나는지 확인할 수 있습니다.

손익분기점에 가장 큰 영향을 주는 네 가지 요소:

  • 가동률. 업무 시간에 몰리고 밤에 줄어드는 트래픽은 임대한 GPU를 놀게 만듭니다. 트래픽 변동이 큰 워크로드에는 API가 유리합니다.
  • 모델 크기와 양자화. 70B 모델은 FP16에서 레플리카당 80 GB GPU 여러 장이 필요하지만, 4비트에서는 한 장에 들어갑니다. LLM VRAM 계산기로 하드웨어 사양을 정하세요.
  • 입력/출력 비율. 프리필(입력)은 디코드(출력)보다 몇 배 빠르므로, RAG나 분류처럼 입력 비중이 큰 워크로드는 GPU 시간당 더 많은 토큰을 처리합니다.
  • 비교 대상 API. 플래그십 모델과 비교하면 월 수억 토큰에서 GPU가 이득이 될 수 있습니다. 저가 API나 호스팅형 오픈 웨이트 API와 비교하면 끝내 이득이 되지 않을 수도 있습니다.

LLM을 셀프 호스팅해야 할 때

가격만이 이유인 경우는 드뭅니다. 데이터를 자체 인프라 안에 두어야 할 때, 커스텀 파인튜닝 모델을 서빙하고 싶을 때, 레이트 리밋 없이 보장된 처리 용량이 필요할 때, 또는 GPU 가동률을 약 50% 이상으로 유지할 만큼 사용량이 많고 꾸준할 때 셀프 호스팅이 합리적입니다. 프로덕션에서는 최소 레플리카 두 개와 함께, 이 계산기가 제외하는 배포, 모니터링, 업그레이드에 드는 엔지니어링 시간도 예산에 넣으세요. 이런 이유가 해당하지 않는다면 토큰당 과금 API, 특히 호스팅형 오픈 웨이트 API가 보통 더 저렴하고 간단한 선택입니다. 음성 워크로드도 같은 논리를 따릅니다. 분당 비용은 AI 음성 에이전트 비용 계산기에서 확인하세요.

다른 AI 비용 계산 도구

API vs 셀프 호스팅 FAQ

LLM API와 GPU의 손익분기점은 어떻게 계산하나요?

GPU의 월 비용을 API의 토큰당 혼합 가격으로 나누면 됩니다. 예를 들어 월 $1,700인 GPU는 100만 토큰당 $4인 API와 비교해 월 425M 토큰에서 손익분기점에 도달합니다. 단, GPU가 실제로 그만큼의 토큰을 처리할 수 있어야 합니다. 이 계산기는 GPU 처리량도 확인하므로, 레플리카 하나로 감당할 수 없어 GPU가 더 필요한 경우를 알려 줍니다.

Llama 3.3 70B Instruct 셀프 호스팅이 API보다 저렴한가요?

GPT-6.2 Sol 같은 프런티어 API(혼합 기준 1M 토큰당 약 $4.00)와 비교하면, Llama 3.3 70B Instruct 모델을 실행하는 전용 NVIDIA H100 80GB 구성이 사용량이 많고 꾸준할 때 더 저렴할 수 있습니다. 1M당 약 $0.155인 호스팅형 Llama 3.3 70B Instruct API와 비교하면, 셀프 호스팅이 가격 면에서 유리한 경우는 드뭅니다. 결정적인 요소는 가동률, 데이터 프라이버시 요구 사항, 커스텀 파인튜닝 필요 여부입니다.

LLM 셀프 호스팅이 API보다 저렴해지는 시점은 언제인가요?

전용 GPU를 계속 바쁘게 돌릴 만큼 사용량이 많고 꾸준할 때입니다. 상시 가동하는 H100 한 장은 월 약 $1,700입니다. 이는 API 토큰에 그보다 많은 비용을 쓰게 될 때만 이득이며, 중급 API 모델 기준으로 보통 월 수십억 토큰 규모입니다. 저렴한 호스팅형 오픈 웨이트 API와 비교하면 가격만으로는 셀프 호스팅이 유리한 경우가 드뭅니다.

손익분기점이 없는 경우가 있는 이유는 무엇인가요?

가동률 100%에서도 GPU가 한 달에 처리할 수 있는 토큰으로 API의 토큰당 가격을 넘어서지 못하면, 셀프 호스팅은 결코 더 저렴해지지 않습니다. 작거나 저렴한 API 모델, 그리고 GPU 여러 장이 필요한 매우 큰 오픈 모델에서 흔히 나타납니다.

GPU 처리량은 어떻게 추정하나요?

단일 스트림 디코드 속도는 메모리 대역폭과 토큰당 읽는 활성 가중치 바이트로 추정합니다. 연속 배칭(vLLM, TGI, SGLang)을 사용하면 전체 처리량은 대략 동시성0.8에 비례해 증가합니다. 입력(프리필) 토큰은 출력 토큰보다 약 8배 빠르게 처리된다고 가정합니다. 직접 측정한 벤치마크 수치로 처리량을 지정할 수도 있습니다.

이 계산에서 제외되는 비용은 무엇인가요?

엔지니어링 시간, 모니터링, 이중화(프로덕션에는 최소 레플리카 두 개가 필요합니다), 이그레스, 스토리지, 야간 유휴 용량입니다. API 쪽은 레이트 리밋 등급과 협상된 할인을 제외합니다. 손익분기점은 셀프 호스팅의 하한선으로 보세요.

호스팅형 오픈 웨이트 API는 어떤가요?

DeepInfra, Together 같은 제공업체는 Llama 3.3 70B 같은 오픈 모델을 100만 토큰당 몇 센트에 서빙합니다. 많은 고객이 GPU를 공유하므로, 데이터 격리, 커스텀 파인튜닝, 보장된 처리 용량이 필요해지기 전까지는 가장 저렴한 옵션인 경우가 많습니다.