为 AI 工作负载选对 GPU，决定了你是在为闲置的芯片算力买单，还是能按时交付模型——以下是 RTX 4090、A100 和 H100 在实际租用中的真实对比。
租用 GPU 服务器意味着你可以获得数据中心级别的算力，而无需承担资本支出、电费，或数据中心显卡长达 40 周的交付周期。真正的难点在于为任务匹配合适的显卡。
选得太小，模型就装不进显存（VRAM）；选得太大，你就是在用 H100 的价格去跑一个 4090 完全能胜任的 7B 聊天机器人。本指南将拆解每款显卡各自的优势场景。
三款显卡一览
RTX 4090
消费级 Ada Lovelace 架构，24GB GDDR6X 显存。在推理和小规模微调场景中性价比之王。不支持 NVLink，不支持 ECC。
A100
数据中心级 Ampere 架构，40GB 或 80GB HBM2e 显存。支持 NVLink、MIG 分区和 ECC。训练任务久经考验的主力显卡。
H100
数据中心级 Hopper 架构，80GB HBM3 显存。配备原生支持 FP8 的 Transformer Engine，显存带宽极高。专为大模型训练和高吞吐 LLM 服务而生。
显存（VRAM）是首要问题，而非最后才考虑的问题
在关注原始算力之前，先要确认模型是否装得下。如果权重、激活值和 KV 缓存放不进显存，再强的算力也无济于事——你只能被迫将数据卸载到系统内存，付出巨大的性能代价。
- 24GB（RTX 4090）：轻松应对 7B-13B 推理、量化后的 30B 模型，以及较小模型的 LoRA 微调。
- 40GB（A100）：全精度 13B 模型、量化后的 70B 推理，以及中等规模的训练任务。
- 80GB（A100/H100）：降低精度下的 70B 推理、更大规模的微调，以及单节点内的多 GPU 训练。
- 多 GPU：前沿模型训练以及 70B 以上的全参数微调，需要通过 NVLink 或高速互联结构连接多张显卡。
经验法则：在 FP16 精度下做推理，每十亿参数大约预留 2GB 显存，再加上 KV 缓存所需的余量。量化（INT8/INT4）可以大幅降低这一需求，但可能牺牲精度。
精度：H100 领先的地方
RTX 4090 和 H100 都支持 FP8，但 H100 的 Transformer Engine 能够在模型各层之间自动管理 FP8 的缩放。这为 Transformer 模型的训练和推理服务带来了实实在在的吞吐量优势，而不只是规格表上的噱头。
A100 早于 FP8 问世，最高只支持 TF32 和 BF16。它在训练方面依然表现出色——只是在 Transformer 架构上，H100 完成同样的任务会明显更快。
为任务匹配合适的显卡
推理 / 服务
RTX 4090。对于参数量在 13B 以内的模型，每美元 token 数最高。建议通过增加更多 4090 来横向扩展，而不是依赖一张巨型显卡。
微调（LoRA / 小规模）
RTX 4090 或 A100 40GB。在 7B-13B 模型上做 LoRA 微调，单张 4090 就能轻松胜任。
全参数微调 / 中等规模训练
A100 80GB。一旦训练任务耗时数小时并开始进行多 GPU 扩展，ECC 和 NVLink 就变得至关重要。
大模型训练
H100。FP8 和高带宽能缩短 Transformer 训练的实际耗时，而这正是租用时长增长最快的地方。
高吞吐 LLM API
H100。当你需要同时处理数千个并发请求时，其显存带宽和 FP8 吞吐量优势足以物有所值。
批处理 / 离线任务
RTX 4090。如果对延迟不敏感，便宜的消费级显卡可以整夜运行任务，成本只是零头。
最常见的误区：租用 H100 来跑 7B 模型的推理。你只会用到它极小一部分的能力，却要支付比 4090 高出数倍的费用。
真正重要的成本核算
小时费率只是表面数字，你真正应该优化的是每美元吞吐量。一张价格贵一倍、但在你的工作负载上快三倍的显卡，按每项完成任务计算反而更便宜。
- 1
在你自己的工作负载上做基准测试
使用你真实的模型和批量大小进行测试，而不是通用基准。衡量每秒 token 数或每秒样本数，而不是 TFLOPS。
- 2
除以小时费率
计算每种显卡方案的每美元吞吐量。这样得出的排名往往会与人们的预期大相径庭。
- 3
考虑闲置时间
如果你的 GPU 在任务之间经常闲置，一张更便宜的显卡或按小时充值的模式，会比一张你用不满的高速显卡更划算。
- 4
计入出口流量和存储成本
数据集和检查点的传输进出都有成本。不限流量的带宽可以完全消除这一变量。
在 ChainVPS，GPU 服务器采用加密货币充值余额预付费模式，并提供不限流量的带宽，因此将 200GB 的数据集传输到服务器上不会产生额外费用——你只需为 GPU 使用时长付费，而不是为传输付费。如果你正在规划配置方案，/gpu-server 页面列出了当前可用的 RTX 4090、A100 和 H100 档位及所在地区。
AI 工作负载的隐私考量
训练数据和模型权重都是敏感资产。它们物理上存放在何处、谁有权力对主机方发出传唤令，这些都应该是工程决策的一部分——而不是事后才考虑的问题。
- 有意识地选择司法管辖区。隐私友好地区（NL、CH、RO、IS、MD、LU）不受最激进的数据调取制度约束。
- 优先选择无需提供身份证件即可开通算力的服务商——无需 KYC 意味着不会有任何将你的项目与真实姓名绑定的数据留存。
- 使用预付费余额支付，而不是按期扣款的信用卡，这样就不会留下将工作负载与你本人关联的支付记录。
- 静态存储的检查点应保持加密，任务完成后及时从服务器上取回。
ChainVPS 的 GPU 服务器无需身份验证，采用预付费余额支付，可使用包括 Monero 在内的 21 种加密货币充值，让你的研究与个人身份彻底分离。欲了解离岸 GPU 方案，请访问 /gpu-server 页面。
快速决策指南
RTX 4090 真的能胜任严肃的 AI 工作吗？
可以——在推理和小规模微调场景中，它在三款显卡中提供了最佳的每美元 token 数。它的局限在于 24GB 的显存上限，以及缺少 NVLink 和 ECC，这些对大规模多 GPU 训练任务很重要，但对服务 7B-13B 模型来说并不构成问题。
H100 的溢价究竟在什么情况下物有所值？
当你的工作负载是大规模 Transformer 训练或高吞吐 LLM 服务时。它的 FP8 Transformer Engine 和显存带宽能大幅缩短实际耗时，即使小时费率更高，按每项完成任务计算的成本反而更低。对于轻量级推理任务，它则是大材小用。
我可以在离岸租用 GPU 服务器并用加密货币支付吗？
可以。ChainVPS 的 GPU 档位无需 KYC，采用预付费余额支付，支持包括 Monero 在内的 21 种加密货币充值。你只需充值、部署，你的工作负载不会与任何真实身份绑定。
我的项目需要 NVLink 吗？
只有当你训练的模型大到单张显卡无法容纳、GPU 之间必须高速交换梯度时才需要。单 GPU 推理和 LoRA 微调都用不到它，这也是为什么 4090 缺少 NVLink 在这些任务中几乎不构成问题。
