AI 워크로드에 맞는 GPU를 고르는 일은 유휴 연산력에 돈을 낭비하느냐, 모델을 제때 출시하느냐를 가르는 문제입니다 — RTX 4090, A100, H100을 대여했을 때 실제로 어떻게 비교되는지 살펴봅니다.
GPU 서버를 임대하면 초기 투자 비용, 전기 요금, 데이터센터용 카드의 40주에 달하는 대기 기간 없이 데이터센터급 연산력을 확보할 수 있습니다. 어려운 부분은 작업에 맞는 카드를 고르는 것입니다.
너무 작은 카드를 고르면 모델이 VRAM에 들어가지 않습니다. 너무 큰 카드를 고르면 4090으로도 충분히 돌아가는 7B 챗봇을 H100 요금으로 운영하게 됩니다. 이 가이드는 각 카드가 어디서 강점을 갖는지 정리합니다.
세 카드를 한눈에 비교
RTX 4090
컨슈머용 Ada Lovelace, 24GB GDDR6X. 추론과 소규모 파인튜닝에서 가성비가 가장 뛰어납니다. NVLink 없음, ECC 없음.
A100
데이터센터용 Ampere, 40GB 또는 80GB HBM2e. NVLink, MIG 파티셔닝, ECC 지원. 트레이닝에서 검증된 주력 카드입니다.
H100
데이터센터용 Hopper, 80GB HBM3. 네이티브 FP8을 지원하는 Transformer Engine과 압도적인 메모리 대역폭을 갖췄습니다. 대형 모델 트레이닝과 고처리량 LLM 서빙을 위해 설계되었습니다.
VRAM은 마지막이 아니라 첫 번째로 물어야 할 질문
순수 속도를 보기 전에 먼저 모델이 애초에 들어가는지부터 확인하세요. 가중치, 활성화 값, KV 캐시가 VRAM에 들어가지 않으면 아무리 연산력이 뛰어나도 소용없습니다 — 결국 시스템 RAM으로 오프로드하면서 심각한 성능 저하를 감수해야 합니다.
- 24GB (RTX 4090): 7B-13B 추론, 양자화된 30B 모델, 소형 모델의 LoRA 파인튜닝에 여유롭습니다.
- 40GB (A100): 풀 프리시전 13B, 양자화된 70B 추론, 중간 규모 트레이닝 작업에 적합합니다.
- 80GB (A100/H100): 정밀도를 낮춘 70B 추론, 대규모 파인튜닝, 단일 노드에서의 멀티 GPU 트레이닝에 적합합니다.
- 멀티 GPU: 프론티어 트레이닝과 70B 이상의 풀 파인튜닝에는 NVLink나 고속 패브릭으로 연결된 여러 카드가 필요합니다.
경험칙: FP16 기준 추론 시 파라미터 10억 개당 약 2GB의 VRAM을 잡고, KV 캐시를 위한 여유분을 더하세요. 양자화(INT8/INT4)는 이를 크게 줄여주지만 정확도를 희생할 수 있습니다.
정밀도: H100이 앞서는 지점
RTX 4090과 H100 모두 FP8을 지원하지만, H100의 Transformer Engine은 모델의 레이어 전반에 걸쳐 FP8 스케일링을 자동으로 관리합니다. 이는 단순한 스펙표상의 수치가 아니라 트랜스포머 트레이닝과 서빙에서 실질적인 처리량 이점입니다.
A100은 FP8 이전 세대로, TF32와 BF16까지만 지원합니다. 트레이닝 용도로는 여전히 훌륭하지만, 트랜스포머 아키텍처에서는 H100이 같은 작업을 눈에 띄게 더 빠르게 끝낼 것으로 예상하세요.
작업에 맞는 카드 선택하기
추론 / 서빙
RTX 4090. 최대 약 13B 모델까지 달러당 토큰 수가 가장 뛰어납니다. 거대한 카드 한 대보다 4090 여러 대로 수평 확장하는 편이 낫습니다.
파인튜닝(LoRA / 소규모)
RTX 4090 또는 A100 40GB. 7B-13B 모델의 LoRA는 4090 한 대로도 무리 없이 돌아갑니다.
풀 파인튜닝 / 중간 규모 트레이닝
A100 80GB. 작업이 몇 시간씩 걸리고 멀티 GPU 확장이 시작되는 시점부터는 ECC와 NVLink가 중요해집니다.
대형 모델 트레이닝
H100. FP8과 대역폭이 트랜스포머 트레이닝의 실제 소요 시간을 줄여주는데, 바로 이 지점에서 대여 시간이 가장 빠르게 쌓입니다.
고처리량 LLM API
H100. 수천 건의 동시 요청을 처리할 때는 메모리 대역폭과 FP8 처리량이 그 값어치를 스스로 증명합니다.
배치 / 오프라인 작업
RTX 4090. 지연 시간이 중요하지 않다면 저렴한 컨슈머 카드로도 밤새 돌려서 비용을 크게 줄일 수 있습니다.
가장 흔한 실수: 7B 모델 추론을 위해 H100을 빌리는 것입니다. 성능의 극히 일부만 사용하면서 4090 요금의 몇 배를 지불하게 됩니다.
정말로 중요한 비용 계산법
시간당 요금이 눈에 띄지만, 최적화해야 할 지표는 달러당 처리량입니다. 두 배 비싸지만 워크로드에서 세 배 빠른 카드는 완료된 작업 기준으로 보면 오히려 더 저렴합니다.
- 1
실제 워크로드로 벤치마크하기
범용 벤치마크가 아니라 실제 모델과 배치 크기로 테스트하세요. TFLOPS가 아니라 초당 토큰 수 또는 초당 샘플 수를 측정하세요.
- 2
시간당 요금으로 나누기
각 카드 옵션의 달러당 처리량을 계산하세요. 예상보다 훨씬 자주 순위가 뒤바뀝니다.
- 3
유휴 시간 고려하기
작업 사이에 GPU가 자주 놀고 있다면, 완전히 활용하지 못하는 빠른 카드보다 저렴한 카드나 시간 단위 충전 모델이 더 낫습니다.
- 4
송신 트래픽과 스토리지 비용 반영하기
데이터셋과 체크포인트를 옮기는 데도 비용이 듭니다. 무제한 트래픽은 이 변수를 완전히 없애줍니다.
ChainVPS에서는 GPU 서버가 암호화폐로 충전한 선불 잔액으로 운영되며 트래픽이 무제한이므로, 200GB 데이터셋을 서버로 옮겨도 추가 비용이 들지 않습니다 — GPU 사용 시간에 대해서만 비용을 지불하고, 전송 비용은 없습니다. 구성을 검토 중이라면 /gpu-server 페이지에서 현재 RTX 4090, A100, H100 요금제와 로케이션을 확인할 수 있습니다.
AI 워크로드를 위한 프라이버시 고려사항
트레이닝 데이터와 모델 가중치는 민감한 자산입니다. 이것들이 물리적으로 어디에 있는지, 누가 호스팅 업체에 소환장을 보낼 수 있는지는 나중에 생각할 문제가 아니라 엔지니어링 결정의 일부입니다.
- 관할권을 신중하게 선택하세요. 프라이버시 등급 로케이션(네덜란드, 스위스, 루마니아, 아이슬란드, 몰도바, 룩셈부르크)은 가장 공격적인 데이터 요청 체제 밖에 있습니다.
- 연산 자원을 만드는 데 신분증을 요구하지 않는 호스트를 선택하세요 — KYC 없음은 곧 실명과 연결된 프로젝트 기록이 없다는 뜻입니다.
- 반복 카드 결제 대신 선불 잔액으로 결제하여, 워크로드를 본인과 연결하는 결제 흔적이 남지 않도록 하세요.
- 체크포인트는 저장 시 암호화하고, 작업이 끝나면 서버에서 내려받으세요.
ChainVPS GPU 서버는 신원 확인이 필요 없으며, 모네로(Monero)를 포함한 21종의 코인으로 충전한 선불 잔액으로 결제되므로 연구 활동과 신원이 분리됩니다. 해외 GPU 옵션은 /gpu-server 페이지에서 확인하세요.
빠른 결정 가이드
RTX 4090이 정말 본격적인 AI 작업에 쓸 만한가요?
네 — 추론과 소규모 파인튜닝에서는 세 카드 중 달러당 토큰 수가 가장 뛰어납니다. 한계는 24GB VRAM 상한과 NVLink·ECC 부재인데, 이는 대규모 멀티 GPU 트레이닝에서는 중요하지만 7B-13B 모델 서빙에서는 큰 문제가 되지 않습니다.
H100의 프리미엄 가격이 실제로 값어치를 하는 시점은 언제인가요?
대규모 트랜스포머 트레이닝이나 고처리량 LLM 서빙을 수행할 때입니다. FP8 Transformer Engine과 메모리 대역폭이 실제 소요 시간을 크게 줄여주어, 시간당 요금이 더 높아도 완료된 작업당 비용은 더 낮아집니다. 가벼운 추론 작업에는 과합니다.
해외에서 GPU 서버를 임대하고 암호화폐로 결제할 수 있나요?
네. ChainVPS GPU 요금제는 KYC가 필요 없으며, 모네로를 포함한 21종의 코인으로 충전한 선불 잔액으로 결제됩니다. 충전 후 배포하면 되고, 워크로드가 법적 신원과 연결되는 일은 없습니다.
제 프로젝트에 NVLink가 필요한가요?
단일 카드에 담기지 않을 만큼 큰 모델을 트레이닝하면서 GPU들이 고속으로 그래디언트를 주고받아야 하는 경우에만 필요합니다. 단일 GPU 추론과 LoRA 파인튜닝에는 사용되지 않으므로, 4090에 NVLink가 없다는 점은 이런 작업에서는 거의 문제가 되지 않습니다.
