Bir yapay zeka iş yükü için doğru GPU'yu seçmek, atıl donanıma para ödemekle bir modeli zamanında teslim etmek arasındaki farkı yaratır — RTX 4090, A100 ve H100'ü kiraladığınızda gerçekte nasıl karşılaştırıldıklarını burada bulacaksınız.
Bir GPU sunucusu kiralamak, sermaye maliyeti, elektrik faturaları veya datacenter kartlarındaki 40 haftalık teslim süreleri olmadan datacenter sınıfı işlem gücüne sahip olmak demektir. Zor olan kısım, doğru kartı işe uygun şekilde eşleştirmektir.
Çok küçük seçerseniz modeliniz VRAM'e sığmaz. Çok büyük seçerseniz, bir 4090'ın gayet iyi çalıştırabileceği 7B'lik bir sohbet botunu çalıştırmak için H100 fiyatı ödersiniz. Bu rehber, her kartın nerede öne çıktığını ayrıntılı olarak ele alır.
Üç kart bir bakışta
RTX 4090
Tüketici sınıfı Ada Lovelace, 24GB GDDR6X. Çıkarım (inference) ve küçük fine-tune işlemleri için fiyat/performans kralı. NVLink yok, ECC yok.
A100
Datacenter sınıfı Ampere, 40GB veya 80GB HBM2e. NVLink, MIG bölümleme ve ECC. Eğitim (training) için kanıtlanmış iş atı.
H100
Datacenter sınıfı Hopper, 80GB HBM3. Yerel FP8 destekli bir Transformer Engine ve devasa bellek bant genişliği. Büyük model eğitimi ve yüksek verimli LLM sunumu için tasarlandı.
VRAM son değil, ilk sorudur
Ham hıza bakmadan önce modelinizin sığıp sığmadığını sorun. Ağırlıklar, aktivasyonlar ve KV cache VRAM'e sığmıyorsa, ne kadar işlem gücü olursa olsun fark etmez — sistem RAM'ine acımasız bir performans cezasıyla offload etmek zorunda kalırsınız.
- 24GB (RTX 4090): 7B-13B çıkarım, kuantize edilmiş 30B modeller ve daha küçük modellerin LoRA fine-tuning işlemleri için rahat bir seçim.
- 40GB (A100): tam hassasiyetli 13B, kuantize edilmiş 70B çıkarım ve orta ölçekli eğitim çalışmaları.
- 80GB (A100/H100): düşürülmüş hassasiyette 70B çıkarım, daha büyük fine-tune işlemleri ve tek bir node üzerinde çoklu GPU eğitimi.
- Çoklu GPU: sınır ötesi (frontier) eğitim ve 70B+ tam fine-tuning, NVLink veya hızlı bir fabric üzerinden birbirine bağlı birden fazla kart gerektirir.
Genel kural: çıkarım için FP16'da milyar parametre başına yaklaşık 2GB VRAM ayırın, buna KV cache için de pay ekleyin. Kuantizasyon (INT8/INT4) bunu önemli ölçüde azaltır ancak doğruluktan ödün verebilir.
Hassasiyet: H100'ün öne geçtiği yer
RTX 4090 ve H100'ün ikisi de FP8'i destekler, ancak H100'ün Transformer Engine'i FP8 ölçeklendirmesini modelin katmanları boyunca otomatik olarak yönetir. Bu, transformer eğitimi ve sunumu için gerçek bir verim (throughput) avantajıdır, sadece teknik özellik listesinde iyi görünen bir detay değildir.
A100, FP8'den önce gelir ve en fazla TF32 ve BF16'ya kadar çıkar. Eğitim için hâlâ mükemmeldir — ancak H100'ün transformer mimarilerinde aynı çalışmayı belirgin şekilde daha hızlı bitirmesini bekleyin.
Kartı işe göre eşleştirin
Çıkarım / sunum
RTX 4090. ~13B'ye kadar modeller için dolar başına en iyi token sayısı. Tek bir dev kart yerine daha fazla 4090 ile yatay ölçeklendirin.
Fine-tuning (LoRA / küçük)
RTX 4090 veya A100 40GB. 7B-13B bir modelde LoRA, tek bir 4090 üzerinde sorunsuzca çalışır.
Tam fine-tuning / orta ölçekli eğitim
A100 80GB. Çalışmalar saatler sürmeye ve çoklu GPU ölçeklendirmesi başlamaya başladığında ECC ve NVLink önem kazanır.
Büyük model eğitimi
H100. FP8 ve bant genişliği, kiralama saatlerinin en hızlı biriktiği transformer eğitiminde gerçek zamanlı süreyi kısaltır.
Yüksek verimli LLM API
H100. Binlerce eşzamanlı isteği işlerken, bellek bant genişliği ve FP8 verimi kendini amorti eder.
Toplu / çevrimdışı işler
RTX 4090. Gecikme önemli değilse, ucuz tüketici kartları gece boyunca maliyetin çok küçük bir kısmıyla çalışır.
En yaygın hata: bir 7B modelde çıkarım çalıştırmak için H100 kiralamak. Kapasitesinin sadece küçük bir kısmını kullanır ve bunun için 4090 fiyatının kat kat fazlasını ödersiniz.
Gerçekten önemli olan maliyet hesabı
Saatlik ücret dikkat çeken rakamdır, ancak optimize etmeniz gereken şey dolar başına verimdir. İki kat pahalı ama iş yükünüzde üç kat daha hızlı olan bir kart, tamamlanan iş başına daha ucuzdur.
- 1
İş yükünüzde benchmark yapın
Genel bir benchmark yerine gerçek modelinizi ve batch boyutunuzu çalıştırın. TFLOPS değil, saniyede token veya saniyede örnek (samples/sec) ölçün.
- 2
Saatlik ücrete bölün
Her kart seçeneği için dolar başına verimi hesaplayın. Bu, insanların beklediğinden çok daha sık sıralamayı değiştirir.
- 3
Boşta kalma süresini hesaba katın
GPU'nuz işler arasında boşta duruyorsa, daha ucuz bir kart veya saatlik bakiye yükleme modeli, tam kapasitede kullanmadığınız hızlı bir kartı geride bırakır.
- 4
Egress ve depolamayı hesaba katın
Veri kümelerini ve checkpoint'leri içeri/dışarı taşımanın bir maliyeti vardır. Sınırsız (unmetered) bant genişliği bu değişkeni tamamen ortadan kaldırır.
ChainVPS'te GPU filosu, sınırsız bant genişliğiyle birlikte kripto bakiye yüklemesinden önceden ödenir, bu yüzden 200GB'lık bir veri kümesini sunucuya taşımak size ekstra hiçbir şeye mal olmaz — transfer için değil, GPU saatleri için ödeme yaparsınız. Bir yapılandırma boyutlandırıyorsanız, /gpu-server sayfası güncel RTX 4090, A100 ve H100 katmanlarını ve konumlarını listeler.
Yapay zeka iş yükleri için gizlilik değerlendirmeleri
Eğitim verileri ve model ağırlıkları hassas varlıklardır. Bunların fiziksel olarak nerede bulunduğu ve barındırma sağlayıcısına kimin mahkeme celbi çıkarabileceği, sonradan akla gelen bir detay değil, mühendislik kararının bir parçasıdır.
- Yargı bölgenizi bilinçli olarak seçin. Gizlilik odaklı konumlar (NL, CH, RO, IS, MD, LU) en agresif veri talebi rejimlerinin dışında yer alır.
- İşlem gücü başlatmak için kimlik belgesi istemeyen barındırma sağlayıcılarını tercih edin — KYC olmaması, projelerinizin bir yasal isimle ilişkilendirilmiş bir veri kümesi olmaması anlamına gelir.
- Tekrarlayan kart ödemesi yerine ön ödemeli bir bakiyeden ödeme yapın, böylece iş yükünü size bağlayan bir ödeme izi kalmaz.
- Checkpoint'leri diskte şifreli tutun ve bir çalışma bittiğinde sunucudan indirin.
ChainVPS GPU sunucuları herhangi bir kimlik doğrulaması gerektirmez ve Monero dahil 21 coin'den herhangi biriyle yüklenen ön ödemeli bir bakiyeden ödenir, bu da araştırmanızı kimliğinizden ayrı tutar. Offshore GPU seçeneklerini /gpu-server sayfasında görebilirsiniz.
Hızlı bir karar kısayolu
RTX 4090 gerçekten ciddi yapay zeka işleri için kullanılabilir mi?
Evet — çıkarım ve küçük fine-tuning için üçü arasında dolar başına en iyi token sayısını sunar. Sınırları, 24GB VRAM tavanı ve büyük çoklu GPU eğitim çalışmaları için önemli olan ama 7B-13B bir modeli sunmak için önemli olmayan NVLink ve ECC eksikliğidir.
H100'ün ekstra maliyeti gerçekten ne zaman değer?
İş yükünüz ölçekli transformer eğitimi veya yüksek verimli LLM sunumu olduğunda. FP8 Transformer Engine'i ve bellek bant genişliği, gerçek zamanlı süreyi öyle kısaltır ki daha yüksek saatlik ücret, tamamlanan iş başına daha düşük bir maliyete dönüşür. Hafif çıkarım işleri için bu abartılı bir seçimdir.
GPU sunucularını offshore olarak kiralayıp kripto ile ödeme yapabilir miyim?
Evet. ChainVPS GPU katmanları KYC gerektirmez ve Monero dahil 21 coin ile finanse edilen ön ödemeli bir bakiyeden ödenir. Bakiyenizi yüklersiniz, dağıtımı yaparsınız ve iş yükünüz hiçbir zaman yasal bir kimliğe bağlanmaz.
Projem için NVLink'e ihtiyacım var mı?
Sadece tek bir karta sığmayacak kadar büyük bir modeli eğitiyorsanız, yani GPU'ların gradyanları yüksek hızda değiştirmesi gerekiyorsa. Tek GPU çıkarım ve LoRA fine-tuning bunu kullanmaz, bu yüzden 4090'ın NVLink eksikliği bu işler için nadiren önemlidir.
