Memilih GPU yang tepat untuk workload AI adalah pembeda antara membayar untuk silikon yang menganggur dan mengirimkan model tepat waktu — berikut perbandingan nyata RTX 4090, A100, dan H100 saat Anda menyewanya.
Menyewa server GPU berarti Anda mendapatkan daya komputasi setara data center tanpa biaya modal, tagihan listrik, atau waktu tunggu 40 minggu untuk kartu datacenter. Bagian tersulitnya adalah mencocokkan kartu dengan pekerjaannya.
Beli terlalu kecil, model Anda tidak akan muat di VRAM. Beli terlalu besar, Anda membayar tarif H100 untuk menjalankan chatbot 7B yang sebenarnya cukup dilayani oleh 4090. Panduan ini menguraikan di mana masing-masing kartu unggul.
Tiga kartu sekilas
RTX 4090
Kartu consumer Ada Lovelace, 24GB GDDR6X. Raja rasio harga/performa untuk inferensi dan fine-tune kecil. Tanpa NVLink, tanpa ECC.
A100
Kartu datacenter Ampere, 40GB atau 80GB HBM2e. NVLink, partisi MIG, dan ECC. Kuda pekerja yang teruji untuk training.
H100
Kartu datacenter Hopper, 80GB HBM3. Transformer Engine dengan FP8 native dan bandwidth memori yang sangat besar. Dirancang untuk training model besar dan LLM serving throughput tinggi.
VRAM adalah pertanyaan pertama, bukan yang terakhir
Sebelum melihat kecepatan mentah, tanyakan dulu apakah model Anda bahkan muat. Jika weights, activations, dan KV cache tidak muat di VRAM, sebanyak apa pun daya komputasi tidak akan membantu — Anda terpaksa offload ke system RAM dengan penalti berat.
- 24GB (RTX 4090): nyaman untuk inferensi 7B-13B, model 30B terkuantisasi, dan LoRA fine-tuning model yang lebih kecil.
- 40GB (A100): 13B full-precision, inferensi 70B terkuantisasi, dan training run skala menengah.
- 80GB (A100/H100): inferensi 70B dengan presisi tereduksi, fine-tune yang lebih besar, dan training multi-GPU sebagai satu node.
- Multi-GPU: training frontier dan full fine-tuning 70B+ membutuhkan beberapa kartu yang terhubung lewat NVLink atau fabric cepat.
Rule of thumb: alokasikan sekitar 2GB VRAM per miliar parameter pada FP16 untuk inferensi, ditambah ruang untuk KV cache. Kuantisasi (INT8/INT4) memangkas kebutuhan ini secara signifikan, tetapi bisa mengorbankan akurasi.
Presisi: di mana H100 unggul
RTX 4090 dan H100 sama-sama mendukung FP8, tetapi Transformer Engine milik H100 mengelola scaling FP8 secara otomatis di seluruh layer model. Ini adalah keunggulan throughput nyata untuk training dan serving transformer, bukan sekadar gimmick di spesifikasi.
A100 lahir sebelum era FP8 dan mentok di TF32 dan BF16. Kartu ini tetap sangat baik untuk training — hanya saja H100 akan menyelesaikan run yang sama jauh lebih cepat pada arsitektur transformer.
Cocokkan kartu dengan pekerjaannya
Inferensi / serving
RTX 4090. Rasio token-per-dolar terbaik untuk model hingga ~13B. Skalakan secara horizontal dengan lebih banyak 4090 daripada satu kartu raksasa.
Fine-tuning (LoRA / kecil)
RTX 4090 atau A100 40GB. LoRA pada model 7B-13B berjalan lancar di satu unit 4090.
Full fine-tuning / training menengah
A100 80GB. ECC dan NVLink menjadi penting begitu run berjalan berjam-jam dan penskalaan multi-GPU mulai berperan.
Training model besar
H100. FP8 dan bandwidth memangkas waktu riil pada training transformer, tempat jam sewa paling cepat menumpuk.
API LLM throughput tinggi
H100. Saat Anda melayani ribuan request bersamaan, bandwidth memori dan throughput FP8 terbayar dengan sendirinya.
Job batch / offline
RTX 4090. Jika latensi tidak masalah, kartu consumer yang murah bisa berjalan semalaman dengan biaya jauh lebih kecil.
Kesalahan paling umum: menyewa H100 untuk menjalankan inferensi pada model 7B. Anda hanya memakai sebagian kecil kapasitasnya dan membayar berkali-kali lipat tarif 4090.
Hitungan biaya yang benar-benar penting
Tarif per jam memang jadi sorotan utama, tetapi throughput-per-dolar-lah yang seharusnya Anda optimalkan. Kartu yang harganya dua kali lipat tetapi tiga kali lebih cepat untuk workload Anda justru lebih murah per job yang selesai.
- 1
Benchmark pada workload Anda sendiri
Jalankan model dan ukuran batch riil Anda, bukan benchmark generik. Ukur token/detik atau sample/detik, bukan TFLOPS.
- 2
Bagi dengan tarif per jam
Hitung throughput-per-dolar untuk setiap opsi kartu. Ini mengubah urutan peringkat lebih sering dari yang orang kira.
- 3
Perhitungkan waktu idle
Jika GPU Anda sering menganggur di antara job, kartu yang lebih murah atau model top up per jam bisa mengalahkan kartu cepat yang tidak Anda maksimalkan.
- 4
Perhitungkan egress dan storage
Memindahkan dataset dan checkpoint masuk-keluar punya biaya sendiri. Bandwidth unmetered menghilangkan variabel ini sepenuhnya.
Di ChainVPS, armada GPU dibayar prabayar dari saldo top up kripto dengan bandwidth unmetered, jadi memindahkan dataset 200GB ke server tidak menambah biaya sama sekali — Anda hanya membayar jam GPU, bukan transfernya. Jika Anda sedang merancang build, halaman /gpu-server memuat tier RTX 4090, A100, dan H100 yang tersedia saat ini beserta lokasinya.
Pertimbangan privasi untuk workload AI
Data training dan bobot model adalah aset sensitif. Di mana secara fisik data itu berada, dan siapa yang bisa memaksa penyedia hosting membukanya lewat somasi, adalah bagian dari keputusan teknis — bukan pikiran belakangan.
- Pilih yurisdiksi dengan sengaja. Lokasi privacy-tier (NL, CH, RO, IS, MD, LU) berada di luar rezim permintaan data yang paling agresif.
- Pilih penyedia hosting yang tidak mewajibkan dokumen identitas untuk menjalankan komputasi — tanpa KYC berarti tidak ada catatan yang menghubungkan proyek Anda dengan nama asli.
- Bayar dari saldo prabayar, bukan tagihan kartu berulang, sehingga tidak ada jejak pembayaran yang menghubungkan workload dengan Anda.
- Jaga checkpoint tetap terenkripsi saat disimpan dan unduh dari server begitu sebuah run selesai.
Server GPU ChainVPS tidak memerlukan verifikasi identitas apa pun dan dibayar dari saldo prabayar yang bisa di-top up dengan salah satu dari 21 koin termasuk Monero, sehingga riset Anda tetap terpisah dari identitas Anda. Lihat opsi GPU offshore di halaman /gpu-server.
Jalan pintas pengambilan keputusan
Apakah RTX 4090 benar-benar bisa dipakai untuk pekerjaan AI serius?
Ya — untuk inferensi dan fine-tuning kecil, kartu ini menawarkan rasio token-per-dolar terbaik dari ketiganya. Batasannya adalah plafon VRAM 24GB serta ketiadaan NVLink dan ECC, yang penting untuk training multi-GPU berskala besar tetapi tidak untuk melayani model 7B-13B.
Kapan H100 benar-benar sepadan dengan harga premiumnya?
Saat workload Anda adalah training transformer berskala besar atau serving LLM throughput tinggi. Transformer Engine FP8 dan bandwidth memorinya memangkas waktu riil cukup banyak sehingga tarif per jam yang lebih tinggi justru menghasilkan biaya per job yang lebih rendah. Untuk inferensi ringan, kartu ini berlebihan.
Bisakah saya menyewa server GPU offshore dan membayar dengan kripto?
Bisa. Tier GPU ChainVPS tidak memerlukan KYC dan dibayar dari saldo prabayar yang diisi dengan 21 koin termasuk Monero. Anda top up, deploy, dan workload Anda tidak pernah terhubung dengan identitas legal.
Apakah saya perlu NVLink untuk proyek saya?
Hanya jika Anda melatih model yang terlalu besar untuk satu kartu, di mana GPU harus bertukar gradien dengan kecepatan tinggi. Inferensi single-GPU dan LoRA fine-tuning tidak membutuhkannya, itulah sebabnya ketiadaan NVLink pada 4090 jarang menjadi masalah untuk pekerjaan tersebut.
