NVIDIA H100 · A100 · PCIe

Serwer NVIDIA H100 GPU i serwer dedykowany A100 Pełny GPU, Twój system operacyjny, Twój root.

Serwer H100 GPU to u nas jedna fizyczna maszyna, a nie jej wycinek: NVIDIA H100 80 GB PCIe lub A100 (40 lub 80 GB) przekazany do systemu operacyjnego, który instalujesz, z kontem root i zdalną konsolą, rozliczany miesięcznie. Najniższa pełna cena wynosi $1,682.67 miesięcznie z H100 oraz $772.47 z A100 40 GB.

  • Pojedynczy najemca
  • Przepustka PCIe
  • Port bez limitu transferu
  • ECC HBM
  • Bez umowy

Karty katalogowe pomijają cztery rzeczy, a ta strona je podaje: ile kosztuje każdy GPU wraz z maszyną pod spodem, czy karta to wersja PCIe czy moduł SXM5, jakie łącze PCIe faktycznie otrzymuje w naszej obudowie oraz którego z tych trzech wariantów potrzebuje Twoje zadanie.

A100 kontra H100

Specyfikacje NVIDIA A100 kontra H100 dla kart PCIe, które montujemy

Oba to GPU do centrów danych zbudowane do obliczeń macierzowych, ze stosową pamięcią HBM i ECC. H100 to następna generacja: większa przepustowość pamięci, rdzenie Tensor czwartej generacji i FP8 dzięki silnikowi Transformer. Każda wartość tutaj dotyczy wersji PCIe, jedynej, którą przyjmują nasze obudowy.

SpecyfikacjaA100 40 GBA100 80 GBH100 80 GB PCIe
ArchitekturaAmpereAmpereHopper
Pamięć GPU40 GB HBM2, ECC80 GB HBM2e, ECC80 GB HBM2e, ECC
Przepustowość pamięci1 555 GB/s1 935 GB/s2 039 GB/s
Rdzenie Tensor3. generacja3. generacja4. generacja, FP8 z silnikiem Transformer
Pobór mocy karty250 W300 W350 W
Interfejs GPUPCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
Multi-Instance GPUDo 7 instancjiDo 7 instancjiDo 7 instancji
Silniki wideoBrak NVENC, 5 NVDECBrak NVENC, 5 NVDECBrak NVENC, 7 NVDEC
NVLinkZłącze mostkaZłącze mostkaZłącze mostka
Wyjścia obrazuBrakBrakBrak
Źródła: karta katalogowa NVIDIA A100, nota produktowa NVIDIA H100 PCIe, macierz wsparcia kodowania i dekodowania wideo NVIDIA.

Format

H100 PCIe kontra H100 SXM5 i który z nich sprzedaje ta strona

H100 występuje w dwóch formach, a wartości najczęściej cytowane w sieci dotyczą modułu, nie karty. HBM3, 3,35 TB/s i do 700 W to moduł SXM5: przykręca się go do płyty bazowej HGX, która jest częścią obudowy, więc nie da się go zamontować w serwerze, który nie został z nią kupiony. Nasze obudowy przyjmują karty rozszerzeń PCIe, dlatego każdy H100 na tej stronie to karta PCIe 80 GB.

H100 80 GBPCIe, które montujemySXM5
FormaDwuslotowa karta rozszerzeń PCIeModuł na płycie bazowej HGX
Pamięć GPU80 GB HBM2e, ECC80 GB HBM3, ECC
Przepustowość pamięci2 039 GB/s3 350 GB/s
Pobór mocy karty350 WDo 700 W
Łącze z hostemPCIe 5.0 x16PCIe 5.0 x16, przez płytę bazową
GPU do GPUZłącze mostka NVLink, 600 GB/sNVLink z NVSwitch, 900 GB/s
ChłodzeniePowietrzne, w standardowej szafiePowietrzne lub cieczowe, w obudowie HGX
Źródła: nota produktowa NVIDIA H100 PCIe, karta katalogowa NVIDIA H100 Tensor Core GPU, dokumentacja platformy NVIDIA HGX.
  • Przy jednym GPU różnica to przepustowość pamięci: moduł czyta HBM około 1,6 raza szybciej, co widać w zadaniach strumieniujących wagi lub długi kontekst z pamięci, a mało w pracy ograniczonej arytmetyką. Obie karty działają na tym samym wydaniu CUDA, tej samej gałęzi sterownika i tych samych kompilacjach frameworków.
  • Sieć NVLink to główny powód zakupu SXM5, a ma znaczenie dopiero, gdy zadanie obejmuje kilka GPU. W przypadku więcej niż jednego GPU w obudowie lub więcej niż jednej maszyny serwery multi-GPU opisują, co składamy i jak GPU się komunikują.
  • A100 ma ten sam podział. Moduł SXM4 również wymaga płyty bazowej HGX, więc A100 40 GB i 80 GB tutaj to karty PCIe, z przepustowością 1 555 i 1 935 GB/s.

Z katalogu zamówień

Ceny serwerów A100 i H100 wraz z maszyną, do której każdy trafia

Każdy wiersz to jeden GPU na jednej platformie, która go obsługuje. Cena to pełny miesięczny rachunek za najtańszą maszynę na tej platformie: procesor, pamięć, dyski, port bez limitu transferu i jeden adres IPv4 oraz GPU. Konfiguruj otwiera tę platformę, gdzie dodajesz pamięć, dyski lub szybszy port.

GPUPlatformPCIe linkCheapest machineCitiesPer month
A100 40 GBGPU $699/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$772.47Configure
A100 40 GBGPU $699/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$782.67Configure
A100 40 GBGPU $699/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$916.59Configure
A100 80 GBGPU $899/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$972.47Configure
A100 80 GBGPU $899/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$982.67Configure
A100 80 GBGPU $899/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,116.59Configure
H100 80 GBGPU $1,599/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$1,682.67Configure
H100 80 GBGPU $1,599/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,816.59Configure

Konfiguracja z zamontowanym GPU wiąże się z jednorazową opłatą instalacyjną $29. Opłacenie 3, 6 lub 12 miesięcy z góry obniża stawkę miesięczną nawet o 15%, a cena nie rośnie przy odnowieniu.

Łącze PCIe

Jakie łącze PCIe otrzymuje GPU i kiedy ma to znaczenie

Łącze PCIe działa z prędkością wolniejszego końca. H100 to GPU PCIe 5.0, a A100 to GPU PCIe 4.0; tabela konfiguracji pokazuje generację, jaką daje im gniazdo każdej platformy, i oznacza, gdzie gniazdo jest tym wolniejszym końcem.

  • 16 GB/sPCIe 3.0 x16, w każdą stronę
  • 32 GB/sPCIe 4.0 x16, w każdą stronę
  • 63 GB/sPCIe 5.0 x16, w każdą stronę
  • Ma znaczenie, gdy dane stale przechodzą przez magistralę: ładowanie dużych wag, strumieniowanie partii treningowych z pamięci hosta, przenoszenie stanu optymalizatora do CPU lub przesyłanie tensorów między dwoma GPU bez mostka NVLink.
  • Ma niewielkie znaczenie, gdy praca siedzi już w pamięci GPU. HBM czyta z prędkością 1,5 do 2 TB/s, czyli około 25 do 130 razy szybciej niż którekolwiek z tych gniazd, więc model, który pozostaje załadowany, działa z tą samą prędkością na każdej platformie.
  • Jeśli Twój potok jest ograniczony magistralą, wybierz platformę z najnowszym łączem w tabeli i trzymaj zbiór danych na dyskach serwera, a nie w sieci.

Dobór

A100 czy H100: którego potrzebuje Twoje zadanie

Zacznij od pamięci. Wagi, aktywacje, a przy treningu także stan optymalizatora muszą zmieścić się na GPU, a zadania, które się nie mieści, nie uratuje szybszy układ.

A100 40 GB

Serwer dedykowany A100 do inferencji i pracy wsadowej

Najniższa cena za HBM, ECC i Multi-Instance GPU. Właściwy do serwowania małych i średnich modeli, oceniania wsadowego oraz kodu naukowego, który mieści się w 40 GB.

A100 80 GB

Dwa razy więcej pamięci, ta sama generacja

Około ćwierć większa przepustowość niż wersja 40 GB. Właściwy, gdy model lub partia nie mieści się w 40 GB, a surowa arytmetyka nie jest wąskim gardłem.

H100 80 GB

Serwer dedykowany H100 do treningu

Rdzenie Tensor czwartej generacji i FP8 zwiększają przepustowość treningu i inferencji transformerów względem A100, najbardziej tam, gdzie Twój framework używa FP8. Wart swojej ceny, gdy GPU jest zajęty przez większość miesiąca.

Czy wagi modelu się zmieszczą?

Model weightsPrecisionA100 40 GBA100 or H100 80 GB
7-8 billion parameters16-bitfits16 GBfits16 GB
8-bitfits8 GBfits8 GB
4-bitfits5 GBfits5 GB
13-14 billion parameters16-bittight28 GBfits28 GB
8-bitfits14 GBfits14 GB
4-bitfits8 GBfits8 GB
30-34 billion parameters16-bitno68 GBno68 GB
8-bitno34 GBfits34 GB
4-bitfits19 GBfits19 GB
70 billion parameters16-bitno140 GBno140 GB
8-bitno70 GBno70 GB
4-bitno38 GBfits38 GB

Tylko wagi. „Mieści się” zostawia co najmniej połowę wolnego miejsca na pamięć podręczną KV i środowisko uruchomieniowe; „ciasno” ładuje się, ale długi kontekst lub drugi użytkownik wyczerpuje pamięć GPU. Pełny fine-tuning w precyzji mieszanej z optymalizatorem Adam wymaga około 16 bajtów na parametr przed aktywacjami, więc jeden GPU 80 GB w pełni trenuje około 5 miliardów parametrów. LoRA i QLoRA trenują adaptery na znacznie większych modelach w tej samej pamięci. Dla danego modelu hosting LLM wskazuje maszynę.

Żaden z tych GPU nie ma sprzętowego kodera wideo. Do transkodowania serwer dedykowany L40S ma trzy silniki NVENC z AV1.

W cenie

Czym zarządzasz i jak jest to rozliczane

Maszyna i GPU to dwie miesięczne pozycje na jednej fakturze. Zmień później GPU w tym samym serwerze, a rachunek zmieni się o różnicę między oboma GPU; Twoje dyski i adresy IP zostają.

Root i zdalna konsola

Czysty system operacyjny, dostęp root i kontroler out-of-band serwera do konsoli, nośników wirtualnych i zasilania.

Sterowniki, które przypinasz

Instalujesz sterownik NVIDIA, wydanie CUDA i kompilację frameworka, na których testowano Twój kod. Chcesz mieć sterownik na miejscu przy przekazaniu? Podaj wersję w zamówieniu.

Port bez limitu transferu

Transfer nie jest mierzony w żadną stronę, więc pobieranie zbiorów danych i wysyłanie punktów kontrolnych nic nie dodaje do rachunku. Szybsze porty są w formularzu zamówienia, a przepustowość bez limitu je wymienia.

Z miesiąca na miesiąc

Bez umowy i niczego do podpisania. Maszyny w szafie przejęte bez zmian są też rozliczane godzinowo na serwerach natychmiastowych; konfiguracja na zamówienie jest miesięczna.

Czas dostawy

Ile trwa realizacja serwera A100 lub H100

Czas realizacji zależy od tego, gdzie znajduje się GPU w dniu zamówienia. Który z czterech przypadków dotyczy Ciebie, dowiadujesz się przed zapłatą, a każdy zegar startuje od akceptacji.

  1. 30 min

    Już w szafie

    Maszyna z GPU czeka w szafie.

  2. 4–24 h

    Montujemy u nas

    Mamy GPU i montujemy go do maszyny, którą skonfigurowałeś.

  3. 5–10 dni

    Zakup

    Dni robocze, gdy GPU trzeba najpierw zamówić.

  4. 10–15 dni

    W przydziale

    Dni robocze, gdy GPU jest w przydziale, a termin ustala dostawca.

Odpowiedzi

Pytania o serwery GPU H100 i A100

Jaka jest różnica między NVIDIA A100 a H100?

H100 to generacja następująca po A100. Spośród montowanych przez nas kart PCIe, A100 ma 40 GB HBM2 przy 1555 GB/s lub 80 GB HBM2e przy 1935 GB/s oraz interfejs PCIe 4.0. H100 ma 80 GB HBM2e przy 2039 GB/s, rdzenie Tensor czwartej generacji z FP8 i interfejs PCIe 5.0, a pobiera 350 W wobec 250 lub 300 W. Wszystkie trzy mają ECC, Multi-Instance GPU i nie mają enkodera wideo.

Ile kosztuje serwer dedykowany H100?

Najniższa cena miesięczna za kompletny serwer H100 80 GB to $1,682.67. Ta maszyna to Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, a GPU stanowi $1,599 całości. Konfiguracja z zamontowanym GPU wiąże się z jednorazową opłatą instalacyjną $29, a tabela konfiguracji podaje każdą platformę z własną ceną.

Ile kosztuje serwer A100?

Najniższa cena miesięczna za kompletny serwer A100 to $772.47 z GPU 40 GB i $972.47 z GPU 80 GB, każdy w najtańszej maszynie, która go obsłuży. Konfiguracja A100 40 GB to Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Pamięć, dyski i szybszy port są wyceniane w formularzu zamówienia.

Czy H100 tutaj to PCIe czy SXM5 i czy ma HBM3?

PCIe i nie. Nasze obudowy przyjmują karty GPU PCIe, więc montowany przez nas H100 to karta PCIe 80 GB: HBM2e przy 2039 GB/s, 350 W, łącze PCIe 5.0 x16. HBM3 przy 3350 GB/s i do 700 W to moduł SXM5, który przykręca się do płyty bazowej HGX, a żaden z naszych serwerów jej nie ma. Na jednym GPU to około 1,6 raza większa przepustowość pamięci, a dodawana przez moduł sieć NVLink ma znaczenie dopiero przy więcej niż jednym GPU.

Czy serwer H100 nadaje się do trenowania modeli AI?

Tak, dla modeli mieszczących się w 80 GB przy używanej metodzie treningu. Pełne dostrajanie w precyzji mieszanej z Adamem wymaga około 16 bajtów na parametr przed aktywacjami, więc jeden H100 w pełni trenuje około 5 miliardów parametrów, a adaptery LoRA lub QLoRA rozciągają to na znacznie większe modele. Powyżej tego zadanie wymaga kilku GPU, co opisują serwery wielo-GPU.

Czy mogę umieścić dwa lub więcej GPU A100 albo H100 w jednym serwerze?

Często tak, ale jest to wyceniane indywidualnie, a nie zaznaczane przy kasie: o liczbie decydują miejsce w obudowie, linie PCIe i zasilacz. Oba GPU mają złącze mostka NVLink, ale w formularzu zamówienia nie ma mostka, więc GPU w jednym serwerze komunikują się przez PCIe, chyba że mostek zostanie wyceniony. Zapytaj na czacie przed zamówieniem, jeśli zadanie go wymaga.

Czy mogę wynająć serwer A100 lub H100 na godziny?

Tylko maszynę już stojącą w szafie, zamówioną w obecnej konfiguracji, z serwerów natychmiastowych. Kosztuje ona cenę miesięczną podzieloną przez 730 godzin, razy 1,3, z naliczaniem co do sekundy, dopóki jej nie zwolnisz. Konfiguracja na zamówienie, jak wiersze na tej stronie, jest rozliczana miesięcznie.

Jak długo trwa dostawa serwera A100 lub H100?

Około 30 minut po zatwierdzeniu, gdy maszyna z GPU już stoi w szafie, od 4 do 24 godzin, gdy montujemy GPU z magazynu, od 5 do 10 dni roboczych, gdy GPU jest kupowane, i od 10 do 15, gdy jest na przydziale. Informujemy, który wariant obowiązuje, zanim pobierzemy jakąkolwiek płatność.

Czy A100 lub H100 może transkodować wideo?

Nie sprzętowo. Żaden z nich nie ma enkodera NVENC, więc kodowanie odbywałoby się programowo na GPU lub procesorze. Potrafią dekodować, z 5 silnikami NVDEC w A100 i 7 w H100. Do transkodowania na żywo wybierz GPU z NVENC, na przykład L40S.

Czy współdzielę GPU z kimś innym?

Nie. GPU jest przekazywane bezpośrednio do Twojego systemu operacyjnego bez hipernadzorcy pomiędzy, a maszyna ma jednego najemcę. Nadal możesz sam je podzielić za pomocą Multi-Instance GPU na maksymalnie siedem instancji dla własnych zadań.

Kto odpowiada, gdy potrzebuję pomocy?

AI na naszym czacie odpowiada w ciągu sekund i może sprawdzić Twoje konto oraz serwer podczas rozmowy. Powiedz, że chcesz rozmawiać z człowiekiem, a jeden z nas przejmie tę samą rozmowę.

W formie tekstowej

Wszystkie dane na tej stronie

GPUs
NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
A100 40 GB server from
$772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
A100 80 GB server from
$972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
H100 80 GB server from
$1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
Platforms
Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami, Amsterdam
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
Not included
NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules

Wybierz GPU, a potem maszynę pod nim

Skonfiguruj serwer A100 lub H100 teraz albo podaj nam model i wielkość partii na czacie. Nasze AI odpowiada w ciągu sekund, a człowiek dołącza, gdy poprosisz.

Skonfiguruj serwer H100