가이드
LLM 토큰 요금은 어떻게 계산될까
주요 LLM API는 모두 토큰 단위로 과금합니다. 토큰은 약 4글자, 또는 영어 단어 4분의 3 정도에 해당하는 텍스트 조각입니다. 가격은 100만(1M) 토큰당으로 표시되며, 입력 토큰(시스템 프롬프트, 대화 기록, 검색된 문서, 도구 결과)은 출력 토큰(모델이 생성하는 텍스트)과 별도로 과금됩니다. 거의 항상 출력 쪽이 더 비쌉니다. 대부분의 최신 모델에서 출력은 토큰당 입력보다 4~5배 비싼데, 토큰을 하나씩 생성하는 작업이 프롬프트를 병렬로 읽는 것보다 GPU 시간을 훨씬 많이 쓰기 때문입니다.
따라서 단일 요청의 비용은 간단한 공식으로 구할 수 있습니다: input tokens × input price ÷ 1M + output tokens × output price ÷ 1M. Claude Sonnet 5.5(1M당 입력 $2.00 / 출력 $10.00)에서 입력 2,000토큰, 출력 500토큰인 챗봇 요청 하나의 비용은 약 $0.009입니다. 하루 10,000건이면 월 약 $2,738입니다. 위 계산기는 이 계산을 모든 모델에 대해 한 번에 수행하므로, 같은 워크로드가 제공업체별로 얼마인지 바로 비교할 수 있습니다.
OpenAI, Claude, Gemini API 요금 비교
표시 가격은 출발점일 뿐 정답이 아닙니다. 토큰당 가격이 같은 두 모델이라도 한쪽이 더 긴 답변을 쓰거나, 원하는 대로 동작시키려면 더 긴 프롬프트가 필요하거나, 숨겨진 추론 토큰을 더 많이 쓰면 청구액이 크게 달라집니다. Claude Sonnet 5.5, GPT-6.2 Sol 및 Gemini 4 Carbon 같은 중급 모델은 현재 가격이 거의 같으므로, 공정한 LLM 비용 비교를 하려면 실제 토큰 수를 각 모델에 넣어 봐야 합니다. 모든 입력, 캐시, 출력 요금을 한눈에 보려면 LLM API 가격표를 이용하세요.
멀티턴 AI 에이전트가 챗봇보다 비싼 이유
LLM API는 상태를 저장하지 않습니다(stateless). 대화를 이어 가려면 코드가 매 호출마다 전체 기록을 다시 보내야 하고, 에이전트는 매 단계마다 도구 정의, 도구 호출, 도구 출력을 그 기록에 추가합니다. 그래서 입력 토큰은 턴마다 늘어나고, 한 세션의 총 입력량은 대략 턴 수의 제곱에 비례해 증가합니다.
12,000토큰의 컨텍스트로 시작해 매 턴 도구 출력 2,500토큰과 자체 출력 500토큰을 추가하며 25턴 동안 실행되는 코딩 또는 리서치 에이전트를 예로 들어 보겠습니다. 단순 추정으로는 25 × 12,000 = 0.3M 입력 토큰입니다. 실제 수치는 약 1.2M으로 4배 많은데, 25번째 턴이 앞선 24턴에서 생성된 모든 내용을 다시 읽기 때문입니다. 캐싱 없이 이 세션 하나의 비용은 Claude Sonnet 5.5에서 약 $2.52입니다. AI 에이전트 비용 계산기는 이러한 컨텍스트 증가를 모델링해야 하며, 위의 Pro / 에이전트 모드가 바로 그 역할을 합니다. 음성 에이전트도 발화 턴마다 같은 패턴을 따릅니다. AI 음성 에이전트 비용 계산기는 이를 음성 인식(STT), 음성 합성(TTS), 전화망 비용과 함께 모델링합니다.
프롬프트 캐싱과 Batch API 할인으로 비용 줄이기
프롬프트 캐싱
에이전트는 같은 프리픽스를 반복해서 보내기 때문에, 제공업체는 이를 캐시할 수 있게 해 줍니다. Claude Sonnet 5.5의 캐시된 입력 토큰은 1M당 $2.00 대신 $0.10로, 95% 할인됩니다. Anthropic은 캐시 쓰기에 할증 요금(1M당 $2.50)을 부과하며, OpenAI와 Google은 최소 길이 이상의 프롬프트를 자동으로 캐시합니다. 캐시 적중률이 85%라면 위 에이전트 세션의 비용은 $2.52에서 약 $0.677로 73% 줄어듭니다. 적중률을 높이려면 변하지 않는 내용(시스템 프롬프트, 도구 스키마, 참고 문서)을 프롬프트 앞부분에 두고 새 내용은 끝에 덧붙이세요. 프롬프트 앞부분에 타임스탬프나 사용자 ID가 있으면 매 요청마다 캐시가 깨집니다.
Batch API
실시간 응답이 필요 없다면 OpenAI, Anthropic, Google의 Batch API를 이용하세요. 24시간 이내에 결과를 받는 대신 입력과 출력 토큰 모두 50% 할인됩니다. 평가(eval), 문서 분류, 데이터 추출, 임베딩 백필, 야간 요약 등에 잘 맞습니다. 배치 할인과 캐싱 할인은 중복 적용될 수 있어, 오프라인 파이프라인이 가장 저렴하게 운영되는 LLM 워크로드인 경우가 많습니다.
숨겨진 추론 토큰은 어떻게 과금될까
추론 모델은 답하기 전에 생각합니다. 이 사고(thinking) 토큰은 다른 출력과 똑같이 생성되어 출력 요금으로 과금되지만, 대부분의 API는 이를 보여 주지 않습니다. 1,000토큰의 추론이 필요했던 500토큰짜리 답변은 출력 1,500토큰으로 과금됩니다: Claude Sonnet 5.5에서 $0.005가 아니라 $0.015입니다. 추론 사용량은 작업 난이도와 effort 설정에 따라 달라지므로, 실제 응답의 usage 필드로 측정한 뒤 계산기의 추론 배수를 그에 맞게 설정하세요. 추론 토큰은 다음 턴의 컨텍스트로 넘어가지 않으므로, 출력 비용은 늘리지만 에이전트 루프의 입력 쪽을 부풀리지는 않습니다.
월간 LLM API 비용을 줄이는 실전 팁
- 난이도별로 라우팅하세요. 단순 분류, 추출, 라우팅 호출은 저가 모델로 보내고 플래그십 모델은 어려운 작업에만 쓰세요. 많은 팀이 이 방법으로 비용을 60–80% 줄입니다.
- 출력 길이를 제한하세요. 출력 토큰이 비싼 쪽입니다. max_tokens를 설정하고, JSON 같은 간결한 형식을 요청하며, 모델이 입력을 반복하지 않게 하세요.
- 캐싱을 고려해 프롬프트를 설계하세요. 고정 내용은 앞에, 가변 내용은 뒤에 두고, API 응답의 캐시 토큰 수로 적중 여부를 확인하세요.
- 에이전트 컨텍스트를 줄이세요. 파일 전체 내용과 로그를 매 턴 끌고 다니지 말고, 오래된 도구 출력은 요약하거나 삭제하세요.
- 기다릴 수 있는 작업은 배치로 처리하세요. 같은 모델을 절반 가격에 쓰는 것이 가장 쉬운 절감 방법입니다.
- 추론 effort를 조정하세요. 깊은 추론이 결과를 개선하지 않는 곳에서는 low 또는 medium effort나 비추론 모델을 쓰세요.
- 규모가 커지면 셀프 호스팅을 다시 검토하세요. 월 수십억 토큰 규모에서는 전용 GPU에서 오픈 웨이트 모델을 돌리는 편이 더 저렴할 수 있습니다. API vs 셀프 호스팅 손익분기점 계산기로 전환 지점을 찾고, LLM VRAM 계산기로 하드웨어 사양을 정하세요.
이 계산기의 모든 수치는 페이지 URL에 저장되므로, 견적을 낸 뒤 링크를 복사해 팀이나 재무 담당자와 공유할 수 있습니다.