Việc chọn đúng GPU cho khối lượng công việc AI chính là ranh giới giữa việc trả tiền cho phần cứng nằm không và việc hoàn thành mô hình đúng tiến độ — dưới đây là cách RTX 4090, A100 và H100 thực sự so sánh với nhau khi bạn thuê chúng.
Thuê một máy chủ GPU nghĩa là bạn có được năng lực tính toán cấp datacenter mà không phải bỏ vốn đầu tư, không phải trả tiền điện, và không phải chờ đến 40 tuần để có card datacenter. Phần khó là chọn đúng loại card phù hợp với công việc.
Chọn quá nhỏ thì mô hình của bạn sẽ không vừa VRAM. Chọn quá lớn thì bạn phải trả mức giá của H100 chỉ để chạy một chatbot 7B mà một chiếc 4090 đã đủ sức đáp ứng. Hướng dẫn này sẽ phân tích thế mạnh của từng loại card.
Ba loại card, nhìn tổng quan
RTX 4090
Ada Lovelace phổ thông, 24GB GDDR6X. Vua về hiệu năng/giá cho inference và fine-tune quy mô nhỏ. Không có NVLink, không có ECC.
A100
Ampere cấp datacenter, 40GB hoặc 80GB HBM2e. Có NVLink, phân vùng MIG và ECC. Con ngựa thồ đã được kiểm chứng cho việc huấn luyện.
H100
Hopper cấp datacenter, 80GB HBM3. Có Transformer Engine hỗ trợ FP8 gốc và băng thông bộ nhớ cực lớn. Được thiết kế cho huấn luyện mô hình lớn và phục vụ LLM với thông lượng cao.
VRAM là câu hỏi đầu tiên, không phải câu hỏi cuối cùng
Trước khi nhìn vào tốc độ thuần túy, hãy hỏi xem mô hình của bạn có vừa hay không. Nếu trọng số, activation và KV cache không vừa VRAM, thì dù có bao nhiêu sức mạnh tính toán cũng vô ích — bạn buộc phải đẩy dữ liệu sang RAM hệ thống với cái giá phải trả rất đắt về hiệu năng.
- 24GB (RTX 4090): thoải mái cho inference 7B-13B, các mô hình 30B đã lượng tử hóa, và fine-tune LoRA cho các mô hình nhỏ hơn.
- 40GB (A100): 13B ở độ chính xác đầy đủ, inference 70B đã lượng tử hóa, và các đợt huấn luyện quy mô trung bình.
- 80GB (A100/H100): inference 70B ở độ chính xác giảm, các fine-tune quy mô lớn hơn, và huấn luyện đa GPU trên một node duy nhất.
- Đa GPU: huấn luyện mô hình tiên phong (frontier) và full fine-tuning từ 70B trở lên cần nhiều card được liên kết qua NVLink hoặc một fabric tốc độ cao.
Quy tắc ước lượng nhanh: dự trù khoảng 2GB VRAM cho mỗi tỷ tham số ở FP16 cho inference, cộng thêm khoảng dư cho KV cache. Lượng tử hóa (INT8/INT4) cắt giảm đáng kể con số này nhưng có thể đánh đổi độ chính xác.
Độ chính xác: nơi H100 vượt lên dẫn trước
Cả RTX 4090 và H100 đều hỗ trợ FP8, nhưng Transformer Engine của H100 tự động quản lý việc scaling FP8 trên toàn bộ các lớp của mô hình. Đây là một lợi thế thực sự về thông lượng cho việc huấn luyện và phục vụ transformer, chứ không chỉ là con số trên thông số kỹ thuật.
A100 ra đời trước FP8 và chỉ đạt tối đa ở TF32 và BF16. Nó vẫn xuất sắc cho việc huấn luyện — chỉ là hãy dự liệu rằng H100 sẽ hoàn thành cùng một tác vụ nhanh hơn đáng kể trên các kiến trúc transformer.
Chọn card phù hợp với công việc
Inference / phục vụ
RTX 4090. Tỷ lệ token trên mỗi đô la tốt nhất cho các mô hình lên đến ~13B. Mở rộng theo chiều ngang bằng nhiều card 4090 thay vì một card khổng lồ duy nhất.
Fine-tuning (LoRA / quy mô nhỏ)
RTX 4090 hoặc A100 40GB. LoRA trên một mô hình 7B-13B chạy tốt trên một chiếc 4090 duy nhất.
Full fine-tuning / huấn luyện quy mô trung bình
A100 80GB. ECC và NVLink trở nên quan trọng khi các đợt chạy kéo dài hàng giờ và việc mở rộng đa GPU bắt đầu.
Huấn luyện mô hình lớn
H100. FP8 và băng thông giúp cắt giảm thời gian thực khi huấn luyện transformer, đây chính là nơi số giờ thuê tăng nhanh nhất.
API LLM thông lượng cao
H100. Khi bạn phục vụ hàng nghìn yêu cầu đồng thời, băng thông bộ nhớ và thông lượng FP8 sẽ tự bù đắp chi phí của chính nó.
Tác vụ theo lô / offline
RTX 4090. Nếu độ trễ không quan trọng, các card phổ thông giá rẻ có thể chạy suốt đêm với chi phí chỉ bằng một phần nhỏ.
Sai lầm phổ biến nhất: thuê H100 chỉ để chạy inference cho một mô hình 7B. Bạn sẽ chỉ dùng một phần nhỏ khả năng của nó nhưng phải trả gấp nhiều lần mức giá của 4090.
Bài toán chi phí thực sự quan trọng
Giá thuê theo giờ là con số dễ thấy nhất, nhưng thông lượng trên mỗi đô la mới là thứ bạn nên tối ưu. Một chiếc card đắt gấp đôi nhưng nhanh gấp ba lần trên khối lượng công việc của bạn thực ra lại rẻ hơn tính trên mỗi tác vụ hoàn thành.
- 1
Benchmark trên chính khối lượng công việc của bạn
Hãy chạy đúng mô hình thực tế và kích thước batch của bạn, không phải một benchmark chung chung. Đo bằng token/giây hoặc mẫu/giây, không phải TFLOPS.
- 2
Chia cho giá thuê theo giờ
Tính thông lượng trên mỗi đô la cho từng lựa chọn card. Điều này thường thay đổi thứ hạng nhiều hơn người ta tưởng.
- 3
Tính đến thời gian nhàn rỗi
Nếu GPU của bạn nằm không giữa các tác vụ, một chiếc card rẻ hơn hoặc mô hình nạp tiền theo giờ sẽ hiệu quả hơn một chiếc card nhanh mà bạn không tận dụng hết công suất.
- 4
Tính đến chi phí egress và lưu trữ
Việc chuyển dữ liệu và checkpoint ra vào đều có chi phí. Băng thông không giới hạn loại bỏ hoàn toàn biến số này.
Tại ChainVPS, đội máy chủ GPU hoạt động theo hình thức trả trước từ số dư nạp bằng crypto với băng thông không giới hạn, vì vậy việc chuyển một bộ dữ liệu 200GB lên máy không tốn thêm bất kỳ chi phí nào — bạn chỉ trả tiền cho số giờ sử dụng GPU, không phải cho việc truyền dữ liệu. Nếu bạn đang cân nhắc cấu hình, trang /gpu-server liệt kê đầy đủ các gói RTX 4090, A100 và H100 hiện có cùng vị trí đặt máy.
Các yếu tố về quyền riêng tư cho khối lượng công việc AI
Dữ liệu huấn luyện và trọng số mô hình là những tài sản nhạy cảm. Vị trí vật lý nơi chúng được lưu trữ, và ai có thể triệu tập nhà cung cấp bằng trát pháp lý, là một phần của quyết định kỹ thuật — không phải là điều nghĩ đến sau cùng.
- Chọn khu vực pháp lý một cách có chủ đích. Các địa điểm ưu tiên quyền riêng tư (NL, CH, RO, IS, MD, LU) nằm ngoài các chế độ yêu cầu dữ liệu gắt gao nhất.
- Ưu tiên các nhà cung cấp không yêu cầu giấy tờ tùy thân để khởi tạo năng lực tính toán — không KYC nghĩa là không có tập dữ liệu nào về dự án của bạn bị gắn với một tên pháp lý.
- Thanh toán từ số dư trả trước thay vì bị trừ tiền định kỳ qua thẻ, để không có dấu vết thanh toán nào liên kết khối lượng công việc với bạn.
- Giữ các checkpoint được mã hóa khi lưu trữ và tải chúng ra khỏi máy chủ ngay khi đợt chạy kết thúc.
Máy chủ GPU của ChainVPS không yêu cầu xác minh danh tính và được thanh toán từ số dư trả trước, nạp bằng bất kỳ đồng nào trong số 21 loại tiền mã hóa được hỗ trợ, bao gồm cả Monero, giúp tách biệt hoàn toàn công việc nghiên cứu của bạn khỏi danh tính cá nhân. Xem các tùy chọn GPU offshore tại trang /gpu-server.
Lối tắt quyết định nhanh
RTX 4090 có thực sự dùng được cho các công việc AI nghiêm túc không?
Có — đối với inference và fine-tune quy mô nhỏ, nó mang lại tỷ lệ token trên mỗi đô la tốt nhất trong ba loại card. Giới hạn của nó là trần VRAM 24GB và việc thiếu NVLink cùng ECC, những yếu tố quan trọng đối với các đợt huấn luyện đa GPU quy mô lớn nhưng không quan trọng khi phục vụ một mô hình 7B-13B.
Khi nào H100 thực sự xứng đáng với mức giá cao của nó?
Khi khối lượng công việc của bạn là huấn luyện transformer ở quy mô lớn hoặc phục vụ LLM với thông lượng cao. Transformer Engine FP8 và băng thông bộ nhớ của nó cắt giảm thời gian thực đủ nhiều để mức giá theo giờ cao hơn vẫn tạo ra chi phí thấp hơn trên mỗi tác vụ hoàn thành. Đối với inference nhẹ thì đây là sự lãng phí không cần thiết.
Tôi có thể thuê máy chủ GPU offshore và thanh toán bằng crypto không?
Có. Các gói GPU của ChainVPS không yêu cầu KYC và được thanh toán từ số dư trả trước, nạp bằng 21 loại tiền mã hóa bao gồm cả Monero. Bạn chỉ cần nạp tiền, triển khai, và khối lượng công việc của bạn sẽ không bao giờ bị gắn với một danh tính pháp lý.
Dự án của tôi có cần NVLink không?
Chỉ khi bạn huấn luyện một mô hình quá lớn đối với một card duy nhất, nơi các GPU phải trao đổi gradient với tốc độ cao. Inference một GPU và fine-tune LoRA không sử dụng đến nó, đó là lý do vì sao việc 4090 thiếu NVLink hiếm khi quan trọng đối với những công việc này.
