ガイド
LLM API vs セルフホスト:損益分岐点の計算
問題は GPU が API より安いかどうかではありません。GPU を十分に稼働させ続けられるかどうかです。トークン課金の API は使った分だけ課金されます。専用 GPU は、 稼働中でもアイドル中でも、電源が入っている1時間ごとに課金されます。セルフホストが有利になるのは、毎月の安定したトークン量が十分に大きく、その固定費を API のトークン単価より薄く分散できるようになってからです。
1. トークン課金の API
コストはトークン量に比例します:月間トークン数 × 100万トークンあたりの混合単価。混合単価とは、入力と出力をトラフィックの比率で加重平均した単価です。入力トークンが 75% の場合、GPT-6.2 Sol は100万トークンあたり約 $4.00 になります。最低料金もアイドル時のコストもなく、 スケーリングと稼働率の確保はプロバイダーが担います。LLM 料金計算ツールでは、この比較の API 側にキャッシュ、バッチ、エージェントループを加味できます。
2. ホスト型オープンウェイト API
推論プロバイダーは、Llama 3.3 70B Instruct などのオープンモデルを共有 GPU で提供しており、課金はやはりトークン単位です(ここでは混合単価で100万トークンあたり約 $0.155)。 数千の顧客で GPU を常にフル稼働させているため、通常はフロンティア API よりも、自分でレンタルする GPU よりもはるかに安くなります。ホスト型オープンウェイトの料金は LLM API 料金一覧表で比較できます。多くのチームにとって、クローズドな API の現実的な代替案はセルフホストではなく、こちらです。
3. 専用クラウド GPU
セルフホスト環境のコストは、トラフィックに関係なく月に 時間単価 × 730時間 × レプリカあたりの GPU 数 × レプリカ数 です。$2.39/時の NVIDIA H100 80GB 1枚なら月 $1,745 です。処理能力はデコードのスループット、つまり vLLM、SGLang、TGI の continuous batching で GPU が毎秒生成できる出力トークン数で決まります。フル稼働時、上の構成では約 100万トークンあたり $0.8555 でトークンを生成できます。これは最良のケースです。 平均稼働率が30%の場合、実質単価は100万トークンあたり $2.85 に上がります。
損益分岐点の求め方
損益分岐点は、2つのコストの線が交わる月間トークン量です:損益分岐トークン数 = GPU の月額コスト ÷ API のトークン単価。これを下回れば API の方が安く、 上回れば GPU の方が安くなります。ただし、1レプリカの処理能力を超えると、もう1つレプリカが必要になります。GPT-6.2 Sol と NVIDIA H100 80GB 上の Llama 3.3 70B Instruct を比較すると、分岐点は約 月 872.35M トークンです。上のグラフには3つの選択肢すべてをプロットしているので、線が交わる位置を確認できます。
損益分岐点を最も大きく動かすのは次の4つの要素です:
- 稼働率。日中にピークがあり夜間に落ち込むトラフィックでは、レンタルした GPU がアイドル状態になります。負荷の変動が大きいワークロードには API が向いています。
- モデルサイズと量子化。FP16 の 70B モデルにはレプリカあたり 80 GB の GPU が複数枚必要ですが、4-bit なら1枚に収まります。ハードウェアのサイズは LLM VRAM 計算ツールで見積もりましょう。
- 入力と出力の比率。プリフィル(入力)はデコード(出力)より数倍速いため、RAG や分類など入力の多いワークロードでは、GPU 1時間あたりに処理できるトークン数が多くなります。
- 比較対象の API。フラッグシップモデルと比べれば、月に数億トークンで GPU の元が取れることもあります。低価格の API やホスト型オープンウェイト API と比べると、元が取れないこともあります。
LLM をセルフホストすべきケース
価格だけが理由になることはまれです。セルフホストが理にかなうのは、データを自社インフラ内にとどめる必要がある場合、独自のファインチューニングモデルを提供したい場合、レート制限のない 確実な処理能力が必要な場合、または GPU の稼働率をおよそ50%以上に保てるだけの大きく安定したトークン量がある場合です。本番環境では最低2つのレプリカに加え、 デプロイ、モニタリング、アップグレードのためのエンジニアリング工数も予算に入れてください(この計算ツールには含まれていません)。これらの理由が当てはまらないなら、トークン課金の API(多くの場合ホスト型オープンウェイト API)の方が、通常は安く シンプルな選択です。音声のワークロードも同じ考え方です。1分あたりのコストは AI 音声エージェント料金計算ツールでご確認ください。