AIワークロードに適したGPUを選べるかどうかは、遊休シリコンに料金を払い続けるか、モデルを予定通りに出荷できるかの分かれ目になります。ここでは、レンタルする際にRTX 4090・A100・H100が実際どう比較されるのかを解説します。
GPUサーバーをレンタルすれば、設備投資や電気代、データセンター向けカードの40週にも及ぶ納期を負担することなく、データセンター級の計算能力を利用できます。難しいのは、用途に合ったカードを選ぶことです。
小さすぎるカードを選べばモデルがVRAMに収まりません。大きすぎるカードを選べば、4090で十分に動かせる7Bチャットボットのために、H100の料金を支払うことになります。本ガイドでは、各カードがどこで真価を発揮するのかを詳しく解説します。
3つのカードをひと目で比較
RTX 4090
コンシューマー向けAda Lovelaceアーキテクチャ、24GB GDDR6X搭載。推論と小規模なファインチューニングにおけるコストパフォーマンスの王者。NVLinkとECCは非搭載。
A100
データセンター向けAmpereアーキテクチャ、40GBまたは80GBのHBM2eを搭載。NVLink、MIGパーティショニング、ECCに対応。トレーニング用途で実績のある定番モデル。
H100
データセンター向けHopperアーキテクチャ、80GB HBM3を搭載。ネイティブFP8対応のTransformer Engineと圧倒的なメモリ帯域幅を備え、大規模モデルのトレーニングと高スループットなLLM推論提供のために設計。
最初に問うべきはVRAM容量 — 最後ではない
生の処理速度を見る前に、そもそもモデルが収まるかを確認しましょう。重み、アクティベーション、KVキャッシュがVRAMに収まらなければ、計算能力がどれだけあっても意味がありません。システムRAMへのオフロードを強いられ、深刻なペナルティを受けることになります。
- 24GB(RTX 4090):7B〜13Bモデルの推論、量子化した30Bモデル、小規模モデルのLoRAファインチューニングに余裕で対応。
- 40GB(A100):フル精度の13B、量子化した70Bの推論、中規模のトレーニングに対応。
- 80GB(A100/H100):低精度での70B推論、より大規模なファインチューニング、単一ノードでのマルチGPUトレーニングに対応。
- マルチGPU:フロンティアモデルのトレーニングや70B以上のフルファインチューニングには、NVLinkや高速ファブリックで接続した複数枚のカードが必要です。
目安として、FP16での推論では10億パラメータあたり約2GBのVRAMを見込み、さらにKVキャッシュ分の余裕を確保しましょう。量子化(INT8/INT4)を行えばこれを大幅に削減できますが、精度が犠牲になることがあります。
精度:H100が差をつけるポイント
RTX 4090とH100はどちらもFP8に対応していますが、H100のTransformer Engineはモデルの各レイヤーにわたってFP8のスケーリングを自動的に管理します。これはスペック表上の見せかけではなく、トランスフォーマーのトレーニングと推論提供において実質的なスループット上の優位性です。
A100はFP8登場以前の世代であり、対応する最高精度はTF32とBF16にとどまります。それでもトレーニング用途としては依然として優秀ですが、トランスフォーマー系アーキテクチャでは同じ処理をH100の方が明らかに速く完了させる点は理解しておいてください。
用途に応じたカード選定
推論 / 提供
RTX 4090。約13Bまでのモデルにおいて、ドル当たりのトークン数で最も優れています。1枚の巨大なカードに頼るのではなく、4090を複数枚使って水平にスケールしましょう。
ファインチューニング(LoRA / 小規模)
RTX 4090またはA100 40GB。7B〜13BモデルへのLoRAは、1枚の4090で問題なく動作します。
フルファインチューニング / 中規模トレーニング
A100 80GB。処理が数時間に及び、マルチGPUでのスケーリングが始まると、ECCとNVLinkが重要になります。
大規模モデルのトレーニング
H100。FP8と帯域幅により、トランスフォーマーのトレーニングにかかる実時間を短縮できます。ここはレンタル時間が最も早く積み上がる部分です。
高スループットのLLM API
H100。数千件の同時リクエストを処理する場合、メモリ帯域幅とFP8のスループットがその分の元を取ります。
バッチ / オフライン処理
RTX 4090。レイテンシが問題にならないのであれば、安価なコンシューマー向けカードを一晩動かすだけで、コストのごく一部で済みます。
最もよくある間違いは、7Bモデルの推論のためにH100をレンタルすることです。その性能のごく一部しか使わないにもかかわらず、4090の何倍もの料金を支払うことになります。
本当に重要なコスト計算
時間当たりの料金が注目されがちですが、最適化すべきはドル当たりのスループットです。価格が2倍でも、あなたのワークロードで3倍速いカードであれば、完了したジョブ1件あたりのコストはむしろ安くなります。
- 1
自分のワークロードでベンチマークする
汎用的なベンチマークではなく、実際に使用するモデルとバッチサイズで計測してください。TFLOPSではなく、tokens/秒やsamples/秒を測定します。
- 2
時間単価で割る
各カードの候補についてドル当たりのスループットを計算しましょう。これによって、想像以上に順位が入れ替わることがあります。
- 3
アイドル時間を考慮する
ジョブとジョブの間にGPUが遊んでいるなら、フル稼働させられない高速カードよりも、安価なカードや時間単位のトップアップ型の方が有利です。
- 4
エグレスとストレージも考慮する
データセットやチェックポイントの出し入れにはコストがかかります。帯域幅無制限であれば、この変数を完全になくすことができます。
ChainVPSでは、GPUサーバー群は暗号資産によるトップアップ残高からのプリペイド方式で、帯域幅は無制限です。そのため、200GBのデータセットをサーバーに移動しても追加費用は一切かかりません — 支払うのは転送量ではなくGPUの稼働時間だけです。構成を検討する際は、/gpu-serverページで現在のRTX 4090、A100、H100の各プランとロケーションをご確認ください。
AIワークロードにおけるプライバシー上の考慮事項
トレーニングデータとモデルの重みは機密性の高い資産です。それらが物理的にどこに存在し、誰がホスト事業者に召喚状を出せるのかは、後回しにすべき問題ではなく、エンジニアリング上の意思決定の一部です。
- 管轄区域は意図的に選びましょう。プライバシー重視のロケーション(NL、CH、RO、IS、MD、LU)は、最も強硬なデータ開示要求の枠組みの外にあります。
- コンピュートリソースの起動に本人確認書類を求めないホスト事業者を選びましょう。no-KYCであれば、あなたのプロジェクトのデータセットが実名と紐づくことはありません。
- 継続課金のカード決済ではなく、プリペイド残高から支払うことで、ワークロードとあなた自身を結びつける決済履歴を残さないようにしましょう。
- チェックポイントは保存時に暗号化しておき、処理が完了したらサーバーから取り出しておきましょう。
ChainVPSのGPUサーバーは本人確認が不要で、Moneroを含む21種類のコインでチャージできるプリペイド残高から支払う仕組みのため、あなたの研究活動と個人の身元を切り離しておけます。オフショアGPUの各プランは/gpu-serverページをご覧ください。
手早く判断するためのショートカット
RTX 4090は本格的なAI用途で本当に使えますか?
はい。推論と小規模なファインチューニングにおいては、3種類の中で最もドル当たりのトークン数に優れています。制約としては24GBというVRAM上限と、NVLinkおよびECCが非搭載である点が挙げられますが、これらは大規模なマルチGPUトレーニングでは重要になるものの、7B〜13Bモデルの推論提供には影響しません。
H100の割高な料金が実際に見合うのはどんな場合ですか?
ワークロードが大規模なトランスフォーマーのトレーニング、または高スループットなLLM推論提供である場合です。FP8対応のTransformer Engineとメモリ帯域幅によって実時間が十分に短縮されるため、時間単価が高くても、完了したジョブ1件あたりのコストはむしろ低くなります。軽量な推論用途にはオーバースペックです。
GPUサーバーをオフショアでレンタルし、暗号資産で支払うことはできますか?
はい。ChainVPSのGPUプランはno-KYCで、Moneroを含む21種類のコインでチャージできるプリペイド残高から支払います。残高をチャージしてデプロイするだけで、ワークロードが法的な身元と紐づくことは一切ありません。
自分のプロジェクトにNVLinkは必要ですか?
1枚のカードには収まらないほど大きなモデルをトレーニングし、GPU間で高速に勾配をやり取りする必要がある場合にのみ必要です。単一GPUでの推論やLoRAファインチューニングではNVLinkを使用しないため、4090にNVLinkが搭載されていないことは、こうした用途ではほとんど問題になりません。
