Выбор подходящей видеокарты для AI-нагрузки — это разница между оплатой простаивающего железа и своевременным выпуском модели. Разберём, как на самом деле соотносятся RTX 4090, A100 и H100 при аренде.
Аренда GPU-сервера даёт вычислительную мощность дата-центрового уровня без капитальных затрат, счетов за электричество и 40-недельного ожидания поставки серверных карт. Сложность в том, чтобы подобрать карту под конкретную задачу.
Возьмёте слишком слабую карту — модель не поместится в VRAM. Возьмёте слишком мощную — будете платить по тарифу H100 за запуск чат-бота на 7B параметров, с которым отлично справится и 4090. В этом руководстве разбираем, где выигрывает каждая карта.
Три карты вкратце
RTX 4090
Потребительская карта на архитектуре Ada Lovelace, 24GB GDDR6X. Король соотношения цена/производительность для инференса и небольших дообучений. Нет NVLink, нет ECC.
A100
Серверная карта на архитектуре Ampere, 40GB или 80GB HBM2e. NVLink, разбиение MIG и ECC. Проверенная рабочая лошадка для обучения моделей.
H100
Серверная карта на архитектуре Hopper, 80GB HBM3. Transformer Engine с нативной поддержкой FP8 и огромной пропускной способностью памяти. Создана для обучения больших моделей и высоконагруженного инференса LLM.
VRAM — это первый вопрос, а не последний
Прежде чем смотреть на голую скорость, спросите себя, поместится ли модель вообще. Если веса, активации и KV cache не умещаются в VRAM, никакая вычислительная мощность не поможет — вам придётся выгружать данные в системную RAM с огромной потерей производительности.
- 24GB (RTX 4090): комфортно для инференса моделей 7B-13B, квантованных моделей 30B и LoRA-дообучения небольших моделей.
- 40GB (A100): полноточное обучение 13B, квантованный инференс 70B и обучение моделей среднего размера.
- 80GB (A100/H100): инференс 70B со сниженной точностью, более крупные дообучения и мульти-GPU-обучение в рамках одного узла.
- Мульти-GPU: обучение передовых моделей и полное дообучение 70B+ требуют нескольких карт, объединённых через NVLink или быструю коммутационную сеть.
Практическое правило: закладывайте примерно 2GB VRAM на миллиард параметров при FP16 для инференса, плюс запас под KV cache. Квантование (INT8/INT4) существенно снижает этот объём, но может стоить точности.
Точность вычислений: в чём H100 вырывается вперёд
И RTX 4090, и H100 поддерживают FP8, но Transformer Engine в H100 автоматически управляет масштабированием FP8 по всем слоям модели. Это реальное преимущество в пропускной способности при обучении и инференсе трансформерных моделей, а не просто цифра в спецификации.
A100 появился раньше FP8 и ограничен TF32 и BF16. Он всё ещё отлично подходит для обучения — просто учитывайте, что H100 завершит тот же запуск заметно быстрее на трансформерных архитектурах.
Подбираем карту под задачу
Инференс / обслуживание запросов
RTX 4090. Лучшее соотношение токенов на доллар для моделей до ~13B. Масштабируйтесь горизонтально несколькими картами 4090, а не одной гигантской.
Дообучение (LoRA / небольшие модели)
RTX 4090 или A100 40GB. LoRA-дообучение модели 7B-13B прекрасно работает на одной 4090.
Полное дообучение / обучение среднего масштаба
A100 80GB. ECC и NVLink становятся важны, когда запуски длятся часами и начинается масштабирование на несколько GPU.
Обучение больших моделей
H100. FP8 и высокая пропускная способность сокращают реальное время обучения трансформерных моделей — а именно на этом быстрее всего накапливаются часы аренды.
Высоконагруженный LLM API
H100. При обслуживании тысяч одновременных запросов пропускная способность памяти и производительность FP8 окупают себя сами.
Пакетные / офлайн-задачи
RTX 4090. Если задержка не критична, недорогие потребительские карты справятся с задачей за ночь за небольшую часть стоимости.
Самая распространённая ошибка — арендовать H100 для инференса модели на 7B параметров. Вы задействуете лишь малую часть её возможностей, но заплатите в несколько раз больше, чем за 4090.
Расчёт стоимости, который действительно имеет значение
Почасовая ставка — это заголовок, но оптимизировать нужно производительность на доллар. Карта, которая вдвое дороже, но втрое быстрее на вашей нагрузке, обходится дешевле в расчёте на выполненную задачу.
- 1
Тестируйте на своей нагрузке
Запускайте реальную модель и реальный размер батча, а не общий бенчмарк. Измеряйте токены/сек или образцы/сек, а не TFLOPS.
- 2
Делите на почасовую ставку
Рассчитайте производительность на доллар для каждого варианта карты. Это меняет рейтинг чаще, чем кажется.
- 3
Учитывайте простои
Если GPU простаивает между задачами, более дешёвая карта или модель почасового пополнения баланса выгоднее быстрой карты, которую вы не загружаете полностью.
- 4
Учитывайте исходящий трафик и хранилище
Перемещение датасетов и чекпоинтов туда и обратно имеет свою цену. Безлимитный трафик полностью убирает эту переменную.
В ChainVPS парк GPU оплачивается с предоплаченного крипто-баланса с безлимитным трафиком, поэтому перенос датасета на 200GB на сервер не стоит ничего дополнительно — вы платите за часы работы GPU, а не за передачу данных. Если подбираете конфигурацию, на странице /gpu-server перечислены актуальные тарифы и локации RTX 4090, A100 и H100.
Вопросы приватности для AI-нагрузок
Обучающие данные и веса моделей — это чувствительные активы. То, где они физически находятся, и кто может истребовать их у хостера по повестке, — часть инженерного решения, а не второстепенный вопрос.
- Осознанно выбирайте юрисдикцию. Локации privacy-уровня (NL, CH, RO, IS, MD, LU) находятся вне зоны действия самых агрессивных режимов запроса данных.
- Отдавайте предпочтение хостерам, не требующим документов, удостоверяющих личность, для запуска вычислений — отсутствие KYC означает, что массив данных о ваших проектах не привязан к юридическому имени.
- Оплачивайте с предоплаченного баланса, а не регулярным списанием с карты, чтобы не оставалось платёжного следа, связывающего нагрузку с вами.
- Храните чекпоинты в зашифрованном виде и забирайте их с сервера по завершении запуска.
GPU-серверы ChainVPS не требуют верификации личности и оплачиваются с предоплаченного баланса, который можно пополнить любой из 21 монеты, включая Monero, — это отделяет ваши исследования от вашей личности. Офшорные варианты GPU смотрите на странице /gpu-server.
Быстрая шпаргалка для выбора
Действительно ли RTX 4090 подходит для серьёзной работы с AI?
Да — для инференса и небольшого дообучения она обеспечивает лучшее соотношение токенов на доллар среди трёх карт. Её ограничения — потолок в 24GB VRAM и отсутствие NVLink и ECC, что важно для крупных мульти-GPU обучений, но не критично для обслуживания модели 7B-13B.
Когда переплата за H100 действительно оправдана?
Когда ваша нагрузка — это масштабное обучение трансформерных моделей или высоконагруженный инференс LLM. Transformer Engine с FP8 и высокая пропускная способность памяти сокращают реальное время выполнения настолько, что более высокая почасовая ставка даёт меньшую стоимость в расчёте на выполненную задачу. Для лёгкого инференса это избыточно.
Можно ли арендовать офшорные GPU-серверы и платить криптовалютой?
Да. Тарифы GPU в ChainVPS не требуют KYC и оплачиваются с предоплаченного баланса, который можно пополнить 21 монетой, включая Monero. Вы пополняете баланс, разворачиваете сервер, и ваша нагрузка никогда не привязывается к юридической личности.
Нужен ли NVLink для моего проекта?
Только если вы обучаете модель, слишком большую для одной карты, где GPU должны обмениваться градиентами на высокой скорости. Инференс на одной GPU и LoRA-дообучение его не используют, поэтому отсутствие NVLink у 4090 в этих задачах почти никогда не имеет значения.
