Die Wahl der richtigen GPU für eine KI-Workload entscheidet darüber, ob Sie für ungenutzte Rechenleistung bezahlen oder Ihr Modell pünktlich ausliefern — hier sehen Sie, wie sich RTX 4090, A100 und H100 im Mietbetrieb tatsächlich schlagen.
Mieten Sie einen GPU-Server, erhalten Sie Rechenleistung auf Rechenzentrums-Niveau – ohne Investitionskosten, Stromrechnungen oder die 40-wöchigen Lieferzeiten bei Datacenter-Karten. Die eigentliche Herausforderung besteht darin, die passende Karte für die jeweilige Aufgabe zu finden.
Wählen Sie zu klein, passt Ihr Modell nicht in den VRAM. Wählen Sie zu groß, zahlen Sie H100-Preise, um einen 7B-Chatbot zu betreiben, den auch eine 4090 problemlos bedienen würde. Dieser Guide zeigt im Detail, wo welche Karte die Nase vorn hat.
Die drei Karten auf einen Blick
RTX 4090
Consumer-Ada-Lovelace-Karte mit 24 GB GDDR6X. Der König des Preis-Leistungs-Verhältnisses für Inferenz und kleinere Fine-Tunes. Kein NVLink, kein ECC.
A100
Datacenter-Ampere-Karte mit 40 GB oder 80 GB HBM2e. NVLink, MIG-Partitionierung und ECC. Das bewährte Arbeitspferd fürs Training.
H100
Datacenter-Hopper-Karte mit 80 GB HBM3. Eine Transformer Engine mit nativem FP8 und enormer Speicherbandbreite. Konzipiert für das Training großer Modelle und LLM-Serving mit hohem Durchsatz.
VRAM ist die erste Frage, nicht die letzte
Bevor Sie auf die reine Geschwindigkeit schauen, klären Sie zunächst, ob Ihr Modell überhaupt hineinpasst. Passen Gewichte, Aktivierungen und KV-Cache nicht in den VRAM, hilft auch die beste Rechenleistung nichts — dann bleibt nur das Auslagern in den System-RAM, mit brutalen Geschwindigkeitseinbußen.
- 24 GB (RTX 4090): komfortabel für 7B-13B-Inferenz, quantisierte 30B-Modelle und LoRA-Fine-Tuning kleinerer Modelle.
- 40 GB (A100): Full-Precision-13B, quantisierte 70B-Inferenz und mittelgroße Trainingsläufe.
- 80 GB (A100/H100): 70B-Inferenz mit reduzierter Präzision, größere Fine-Tunes und Multi-GPU-Training als Single-Node.
- Multi-GPU: Frontier-Training und vollständiges Fine-Tuning ab 70B erfordern mehrere Karten, verbunden über NVLink oder eine schnelle Fabric.
Faustregel: Planen Sie für Inferenz bei FP16 etwa 2 GB VRAM pro Milliarde Parameter ein, zuzüglich Spielraum für den KV-Cache. Quantisierung (INT8/INT4) senkt diesen Bedarf deutlich, kann aber Genauigkeit kosten.
Präzision: Wo die H100 die Nase vorn hat
Sowohl die RTX 4090 als auch die H100 unterstützen FP8, aber die Transformer Engine der H100 verwaltet die FP8-Skalierung automatisch über alle Schichten eines Modells hinweg. Das ist ein echter Durchsatzvorteil beim Transformer-Training und -Serving, kein bloßer Punkt auf dem Datenblatt.
Die A100 stammt aus der Zeit vor FP8 und kommt maximal auf TF32 und BF16. Fürs Training ist sie nach wie vor hervorragend geeignet — rechnen Sie nur damit, dass die H100 denselben Lauf bei Transformer-Architekturen spürbar schneller abschließt.
Die richtige Karte für die richtige Aufgabe
Inferenz / Serving
RTX 4090. Bestes Tokens-pro-Dollar-Verhältnis für Modelle bis ~13B. Skalieren Sie horizontal mit mehreren 4090er-Karten statt mit einer einzigen Riesenkarte.
Fine-Tuning (LoRA / klein)
RTX 4090 oder A100 40GB. LoRA auf einem 7B-13B-Modell läuft problemlos auf einer einzelnen 4090.
Vollständiges Fine-Tuning / mittleres Training
A100 80GB. ECC und NVLink werden wichtig, sobald Läufe Stunden dauern und Multi-GPU-Skalierung ins Spiel kommt.
Training großer Modelle
H100. FP8 und Bandbreite verkürzen die reale Trainingszeit bei Transformer-Training – genau dort, wo sich Mietstunden am schnellsten summieren.
LLM-API mit hohem Durchsatz
H100. Wenn Sie Tausende gleichzeitige Anfragen bedienen, zahlen sich Speicherbandbreite und FP8-Durchsatz von selbst aus.
Batch- / Offline-Jobs
RTX 4090. Wenn Latenz keine Rolle spielt, laufen günstige Consumer-Karten über Nacht für einen Bruchteil der Kosten.
Der häufigste Fehler: eine H100 zu mieten, um Inferenz auf einem 7B-Modell zu fahren. Sie nutzen dabei nur einen Bruchteil ihrer Leistungsfähigkeit und zahlen dafür ein Vielfaches des 4090-Preises.
Die Kostenrechnung, auf die es wirklich ankommt
Der Stundenpreis steht im Vordergrund, optimieren sollten Sie jedoch den Durchsatz pro Dollar. Eine Karte, die doppelt so teuer, aber dreimal so schnell für Ihre Workload ist, ist pro abgeschlossenem Job günstiger.
- 1
Benchmark mit Ihrer eigenen Workload
Testen Sie mit Ihrem tatsächlichen Modell und Ihrer Batch-Größe, nicht mit einem generischen Benchmark. Messen Sie Tokens/Sek. oder Samples/Sek., nicht TFLOPS.
- 2
Durch den Stundenpreis teilen
Berechnen Sie für jede Karten-Option den Durchsatz pro Dollar. Das verändert die Rangfolge häufiger, als die meisten erwarten.
- 3
Leerlaufzeiten einkalkulieren
Steht Ihre GPU zwischen Jobs oft still, schlägt eine günstigere Karte oder ein stundenweises Top-up-Modell eine schnelle Karte, die Sie ohnehin nicht auslasten.
- 4
Egress und Storage einberechnen
Das Verschieben von Datensätzen und Checkpoints verursacht Kosten. Unmetered Bandwidth eliminiert diese Variable vollständig.
Bei ChainVPS wird die GPU-Flotte über ein per Krypto aufgeladenes Prepaid-Guthaben mit Unmetered Bandwidth abgerechnet, sodass das Übertragen eines 200-GB-Datensatzes auf den Server nichts zusätzlich kostet — Sie zahlen für die GPU-Stunden, nicht für den Transfer. Wenn Sie Ihr Setup planen, finden Sie auf der Seite /gpu-server die aktuellen RTX 4090-, A100- und H100-Tarife samt Standorten.
Privacy-Überlegungen für KI-Workloads
Trainingsdaten und Modellgewichte sind sensible Assets. Wo sie physisch liegen und wer den Hoster per Gerichtsbeschluss zur Herausgabe zwingen kann, ist Teil der technischen Entscheidung — kein nachträglicher Gedanke.
- Wählen Sie die Jurisdiktion bewusst. Privacy-Standorte (NL, CH, RO, IS, MD, LU) liegen außerhalb der aggressivsten Regime für Datenanfragen.
- Bevorzugen Sie Hoster, die für das Aufsetzen von Rechenleistung keine Ausweisdokumente verlangen — kein KYC bedeutet, dass kein Datensatz Ihrer Projekte mit einem echten Namen verknüpft wird.
- Zahlen Sie aus einem Prepaid-Guthaben statt per wiederkehrender Kartenzahlung, damit keine Zahlungsspur die Workload mit Ihnen verknüpft.
- Verschlüsseln Sie Checkpoints im Ruhezustand und laden Sie sie nach Abschluss eines Laufs vom Server herunter.
ChainVPS-GPU-Server erfordern keine Identitätsprüfung und werden aus einem Prepaid-Guthaben bezahlt, das mit einer von 21 Kryptowährungen inklusive Monero aufgeladen wird — so bleibt Ihre Forschung von Ihrer Identität getrennt. Die Offshore-GPU-Optionen finden Sie auf der Seite /gpu-server.
Eine schnelle Entscheidungshilfe
Ist eine RTX 4090 wirklich für ernsthafte KI-Arbeit geeignet?
Ja — für Inferenz und kleines Fine-Tuning bietet sie das beste Tokens-pro-Dollar-Verhältnis der drei Karten. Ihre Grenzen sind die 24-GB-VRAM-Obergrenze sowie das fehlende NVLink und ECC, was bei großen Multi-GPU-Trainingsläufen relevant ist, beim Serving eines 7B-13B-Modells jedoch nicht.
Wann lohnt sich der Aufpreis für die H100 wirklich?
Wenn Ihre Workload aus Transformer-Training in großem Maßstab oder LLM-Serving mit hohem Durchsatz besteht. Ihre FP8-Transformer-Engine und Speicherbandbreite verkürzen die reale Laufzeit so stark, dass der höhere Stundenpreis zu niedrigeren Kosten pro abgeschlossenem Job führt. Für leichte Inferenz ist sie überdimensioniert.
Kann ich GPU-Server offshore mieten und in Krypto bezahlen?
Ja. Die ChainVPS-GPU-Tarife erfordern kein KYC und werden aus einem Prepaid-Guthaben bezahlt, das mit 21 Kryptowährungen inklusive Monero aufgeladen wird. Sie laden auf, deployen, und Ihre Workload wird nie mit einer rechtlichen Identität verknüpft.
Brauche ich NVLink für mein Projekt?
Nur wenn Sie ein Modell trainieren, das für eine einzelne Karte zu groß ist und die GPUs Gradienten mit hoher Geschwindigkeit austauschen müssen. Single-GPU-Inferenz und LoRA-Fine-Tuning benötigen es nicht, weshalb das fehlende NVLink der 4090 bei diesen Aufgaben kaum ins Gewicht fällt.
