NVIDIA H100 · A100 · PCIe
Serwer NVIDIA H100 GPU i serwer dedykowany A100 Pełny GPU, Twój system operacyjny, Twój root.
Serwer H100 GPU to u nas jedna fizyczna maszyna, a nie jej wycinek: NVIDIA H100 80 GB PCIe lub A100 (40 lub 80 GB) przekazany do systemu operacyjnego, który instalujesz, z kontem root i zdalną konsolą, rozliczany miesięcznie. Najniższa pełna cena wynosi $1,682.67 miesięcznie z H100 oraz $772.47 z A100 40 GB.
- Pojedynczy najemca
- Przepustka PCIe
- Port bez limitu transferu
- ECC HBM
- Bez umowy
Karty katalogowe pomijają cztery rzeczy, a ta strona je podaje: ile kosztuje każdy GPU wraz z maszyną pod spodem, czy karta to wersja PCIe czy moduł SXM5, jakie łącze PCIe faktycznie otrzymuje w naszej obudowie oraz którego z tych trzech wariantów potrzebuje Twoje zadanie.
A100 kontra H100
Specyfikacje NVIDIA A100 kontra H100 dla kart PCIe, które montujemy
Oba to GPU do centrów danych zbudowane do obliczeń macierzowych, ze stosową pamięcią HBM i ECC. H100 to następna generacja: większa przepustowość pamięci, rdzenie Tensor czwartej generacji i FP8 dzięki silnikowi Transformer. Każda wartość tutaj dotyczy wersji PCIe, jedynej, którą przyjmują nasze obudowy.
| Specyfikacja | A100 40 GB | A100 80 GB | H100 80 GB PCIe |
|---|---|---|---|
| Architektura | Ampere | Ampere | Hopper |
| Pamięć GPU | 40 GB HBM2, ECC | 80 GB HBM2e, ECC | 80 GB HBM2e, ECC |
| Przepustowość pamięci | 1 555 GB/s | 1 935 GB/s | 2 039 GB/s |
| Rdzenie Tensor | 3. generacja | 3. generacja | 4. generacja, FP8 z silnikiem Transformer |
| Pobór mocy karty | 250 W | 300 W | 350 W |
| Interfejs GPU | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| Multi-Instance GPU | Do 7 instancji | Do 7 instancji | Do 7 instancji |
| Silniki wideo | Brak NVENC, 5 NVDEC | Brak NVENC, 5 NVDEC | Brak NVENC, 7 NVDEC |
| NVLink | Złącze mostka | Złącze mostka | Złącze mostka |
| Wyjścia obrazu | Brak | Brak | Brak |
Format
H100 PCIe kontra H100 SXM5 i który z nich sprzedaje ta strona
H100 występuje w dwóch formach, a wartości najczęściej cytowane w sieci dotyczą modułu, nie karty. HBM3, 3,35 TB/s i do 700 W to moduł SXM5: przykręca się go do płyty bazowej HGX, która jest częścią obudowy, więc nie da się go zamontować w serwerze, który nie został z nią kupiony. Nasze obudowy przyjmują karty rozszerzeń PCIe, dlatego każdy H100 na tej stronie to karta PCIe 80 GB.
| H100 80 GB | PCIe, które montujemy | SXM5 |
|---|---|---|
| Forma | Dwuslotowa karta rozszerzeń PCIe | Moduł na płycie bazowej HGX |
| Pamięć GPU | 80 GB HBM2e, ECC | 80 GB HBM3, ECC |
| Przepustowość pamięci | 2 039 GB/s | 3 350 GB/s |
| Pobór mocy karty | 350 W | Do 700 W |
| Łącze z hostem | PCIe 5.0 x16 | PCIe 5.0 x16, przez płytę bazową |
| GPU do GPU | Złącze mostka NVLink, 600 GB/s | NVLink z NVSwitch, 900 GB/s |
| Chłodzenie | Powietrzne, w standardowej szafie | Powietrzne lub cieczowe, w obudowie HGX |
- Przy jednym GPU różnica to przepustowość pamięci: moduł czyta HBM około 1,6 raza szybciej, co widać w zadaniach strumieniujących wagi lub długi kontekst z pamięci, a mało w pracy ograniczonej arytmetyką. Obie karty działają na tym samym wydaniu CUDA, tej samej gałęzi sterownika i tych samych kompilacjach frameworków.
- Sieć NVLink to główny powód zakupu SXM5, a ma znaczenie dopiero, gdy zadanie obejmuje kilka GPU. W przypadku więcej niż jednego GPU w obudowie lub więcej niż jednej maszyny serwery multi-GPU opisują, co składamy i jak GPU się komunikują.
- A100 ma ten sam podział. Moduł SXM4 również wymaga płyty bazowej HGX, więc A100 40 GB i 80 GB tutaj to karty PCIe, z przepustowością 1 555 i 1 935 GB/s.
Z katalogu zamówień
Ceny serwerów A100 i H100 wraz z maszyną, do której każdy trafia
Każdy wiersz to jeden GPU na jednej platformie, która go obsługuje. Cena to pełny miesięczny rachunek za najtańszą maszynę na tej platformie: procesor, pamięć, dyski, port bez limitu transferu i jeden adres IPv4 oraz GPU. Konfiguruj otwiera tę platformę, gdzie dodajesz pamięć, dyski lub szybszy port.
| GPU | Platform | PCIe link | Cheapest machine | Cities | Per month |
|---|---|---|---|---|---|
| A100 40 GBGPU $699/mo | Intel Xeon E5-2600 v3/v4 | PCIe 3.0 x16GPU is 4.0 | Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $772.47Configure |
| A100 40 GBGPU $699/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $782.67Configure |
| A100 40 GBGPU $699/mo | AMD EPYC | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $916.59Configure |
| A100 80 GBGPU $899/mo | Intel Xeon E5-2600 v3/v4 | PCIe 3.0 x16GPU is 4.0 | Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $972.47Configure |
| A100 80 GBGPU $899/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $982.67Configure |
| A100 80 GBGPU $899/mo | AMD EPYC | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $1,116.59Configure |
| H100 80 GBGPU $1,599/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 5.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $1,682.67Configure |
| H100 80 GBGPU $1,599/mo | AMD EPYC | PCIe 4.0 x16GPU is 5.0 | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $1,816.59Configure |
Konfiguracja z zamontowanym GPU wiąże się z jednorazową opłatą instalacyjną $29. Opłacenie 3, 6 lub 12 miesięcy z góry obniża stawkę miesięczną nawet o 15%, a cena nie rośnie przy odnowieniu.
Łącze PCIe
Jakie łącze PCIe otrzymuje GPU i kiedy ma to znaczenie
Łącze PCIe działa z prędkością wolniejszego końca. H100 to GPU PCIe 5.0, a A100 to GPU PCIe 4.0; tabela konfiguracji pokazuje generację, jaką daje im gniazdo każdej platformy, i oznacza, gdzie gniazdo jest tym wolniejszym końcem.
- 16 GB/sPCIe 3.0 x16, w każdą stronę
- 32 GB/sPCIe 4.0 x16, w każdą stronę
- 63 GB/sPCIe 5.0 x16, w każdą stronę
- Ma znaczenie, gdy dane stale przechodzą przez magistralę: ładowanie dużych wag, strumieniowanie partii treningowych z pamięci hosta, przenoszenie stanu optymalizatora do CPU lub przesyłanie tensorów między dwoma GPU bez mostka NVLink.
- Ma niewielkie znaczenie, gdy praca siedzi już w pamięci GPU. HBM czyta z prędkością 1,5 do 2 TB/s, czyli około 25 do 130 razy szybciej niż którekolwiek z tych gniazd, więc model, który pozostaje załadowany, działa z tą samą prędkością na każdej platformie.
- Jeśli Twój potok jest ograniczony magistralą, wybierz platformę z najnowszym łączem w tabeli i trzymaj zbiór danych na dyskach serwera, a nie w sieci.
Dobór
A100 czy H100: którego potrzebuje Twoje zadanie
Zacznij od pamięci. Wagi, aktywacje, a przy treningu także stan optymalizatora muszą zmieścić się na GPU, a zadania, które się nie mieści, nie uratuje szybszy układ.
A100 40 GB
Serwer dedykowany A100 do inferencji i pracy wsadowej
Najniższa cena za HBM, ECC i Multi-Instance GPU. Właściwy do serwowania małych i średnich modeli, oceniania wsadowego oraz kodu naukowego, który mieści się w 40 GB.
A100 80 GB
Dwa razy więcej pamięci, ta sama generacja
Około ćwierć większa przepustowość niż wersja 40 GB. Właściwy, gdy model lub partia nie mieści się w 40 GB, a surowa arytmetyka nie jest wąskim gardłem.
H100 80 GB
Serwer dedykowany H100 do treningu
Rdzenie Tensor czwartej generacji i FP8 zwiększają przepustowość treningu i inferencji transformerów względem A100, najbardziej tam, gdzie Twój framework używa FP8. Wart swojej ceny, gdy GPU jest zajęty przez większość miesiąca.
Czy wagi modelu się zmieszczą?
| Model weights | Precision | A100 40 GB | A100 or H100 80 GB |
|---|---|---|---|
| 7-8 billion parameters | 16-bit | fits16 GB | fits16 GB |
| 8-bit | fits8 GB | fits8 GB | |
| 4-bit | fits5 GB | fits5 GB | |
| 13-14 billion parameters | 16-bit | tight28 GB | fits28 GB |
| 8-bit | fits14 GB | fits14 GB | |
| 4-bit | fits8 GB | fits8 GB | |
| 30-34 billion parameters | 16-bit | no68 GB | no68 GB |
| 8-bit | no34 GB | fits34 GB | |
| 4-bit | fits19 GB | fits19 GB | |
| 70 billion parameters | 16-bit | no140 GB | no140 GB |
| 8-bit | no70 GB | no70 GB | |
| 4-bit | no38 GB | fits38 GB |
Tylko wagi. „Mieści się” zostawia co najmniej połowę wolnego miejsca na pamięć podręczną KV i środowisko uruchomieniowe; „ciasno” ładuje się, ale długi kontekst lub drugi użytkownik wyczerpuje pamięć GPU. Pełny fine-tuning w precyzji mieszanej z optymalizatorem Adam wymaga około 16 bajtów na parametr przed aktywacjami, więc jeden GPU 80 GB w pełni trenuje około 5 miliardów parametrów. LoRA i QLoRA trenują adaptery na znacznie większych modelach w tej samej pamięci. Dla danego modelu hosting LLM wskazuje maszynę.
Żaden z tych GPU nie ma sprzętowego kodera wideo. Do transkodowania serwer dedykowany L40S ma trzy silniki NVENC z AV1.
W cenie
Czym zarządzasz i jak jest to rozliczane
Maszyna i GPU to dwie miesięczne pozycje na jednej fakturze. Zmień później GPU w tym samym serwerze, a rachunek zmieni się o różnicę między oboma GPU; Twoje dyski i adresy IP zostają.
Root i zdalna konsola
Czysty system operacyjny, dostęp root i kontroler out-of-band serwera do konsoli, nośników wirtualnych i zasilania.
Sterowniki, które przypinasz
Instalujesz sterownik NVIDIA, wydanie CUDA i kompilację frameworka, na których testowano Twój kod. Chcesz mieć sterownik na miejscu przy przekazaniu? Podaj wersję w zamówieniu.
Port bez limitu transferu
Transfer nie jest mierzony w żadną stronę, więc pobieranie zbiorów danych i wysyłanie punktów kontrolnych nic nie dodaje do rachunku. Szybsze porty są w formularzu zamówienia, a przepustowość bez limitu je wymienia.
Z miesiąca na miesiąc
Bez umowy i niczego do podpisania. Maszyny w szafie przejęte bez zmian są też rozliczane godzinowo na serwerach natychmiastowych; konfiguracja na zamówienie jest miesięczna.
Czas dostawy
Ile trwa realizacja serwera A100 lub H100
Czas realizacji zależy od tego, gdzie znajduje się GPU w dniu zamówienia. Który z czterech przypadków dotyczy Ciebie, dowiadujesz się przed zapłatą, a każdy zegar startuje od akceptacji.
- 30 min
Już w szafie
Maszyna z GPU czeka w szafie.
- 4–24 h
Montujemy u nas
Mamy GPU i montujemy go do maszyny, którą skonfigurowałeś.
- 5–10 dni
Zakup
Dni robocze, gdy GPU trzeba najpierw zamówić.
- 10–15 dni
W przydziale
Dni robocze, gdy GPU jest w przydziale, a termin ustala dostawca.
Rynek GPU
Maszyny A100 i H100 wystawione przez ich właścicieli
Właściciele wystawiają też własne maszyny A100 i H100 na naszym rynku, każdą z ceną miesięczną. Oferty naszej siostrzanej firmy, Primcast, również się tu pojawiają i są wynajmowane tam.
Odpowiedzi
Pytania o serwery GPU H100 i A100
Jaka jest różnica między NVIDIA A100 a H100?
H100 to generacja następująca po A100. Spośród montowanych przez nas kart PCIe, A100 ma 40 GB HBM2 przy 1555 GB/s lub 80 GB HBM2e przy 1935 GB/s oraz interfejs PCIe 4.0. H100 ma 80 GB HBM2e przy 2039 GB/s, rdzenie Tensor czwartej generacji z FP8 i interfejs PCIe 5.0, a pobiera 350 W wobec 250 lub 300 W. Wszystkie trzy mają ECC, Multi-Instance GPU i nie mają enkodera wideo.
Ile kosztuje serwer dedykowany H100?
Najniższa cena miesięczna za kompletny serwer H100 80 GB to $1,682.67. Ta maszyna to Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, a GPU stanowi $1,599 całości. Konfiguracja z zamontowanym GPU wiąże się z jednorazową opłatą instalacyjną $29, a tabela konfiguracji podaje każdą platformę z własną ceną.
Ile kosztuje serwer A100?
Najniższa cena miesięczna za kompletny serwer A100 to $772.47 z GPU 40 GB i $972.47 z GPU 80 GB, każdy w najtańszej maszynie, która go obsłuży. Konfiguracja A100 40 GB to Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Pamięć, dyski i szybszy port są wyceniane w formularzu zamówienia.
Czy H100 tutaj to PCIe czy SXM5 i czy ma HBM3?
PCIe i nie. Nasze obudowy przyjmują karty GPU PCIe, więc montowany przez nas H100 to karta PCIe 80 GB: HBM2e przy 2039 GB/s, 350 W, łącze PCIe 5.0 x16. HBM3 przy 3350 GB/s i do 700 W to moduł SXM5, który przykręca się do płyty bazowej HGX, a żaden z naszych serwerów jej nie ma. Na jednym GPU to około 1,6 raza większa przepustowość pamięci, a dodawana przez moduł sieć NVLink ma znaczenie dopiero przy więcej niż jednym GPU.
Czy serwer H100 nadaje się do trenowania modeli AI?
Tak, dla modeli mieszczących się w 80 GB przy używanej metodzie treningu. Pełne dostrajanie w precyzji mieszanej z Adamem wymaga około 16 bajtów na parametr przed aktywacjami, więc jeden H100 w pełni trenuje około 5 miliardów parametrów, a adaptery LoRA lub QLoRA rozciągają to na znacznie większe modele. Powyżej tego zadanie wymaga kilku GPU, co opisują serwery wielo-GPU.
Czy mogę umieścić dwa lub więcej GPU A100 albo H100 w jednym serwerze?
Często tak, ale jest to wyceniane indywidualnie, a nie zaznaczane przy kasie: o liczbie decydują miejsce w obudowie, linie PCIe i zasilacz. Oba GPU mają złącze mostka NVLink, ale w formularzu zamówienia nie ma mostka, więc GPU w jednym serwerze komunikują się przez PCIe, chyba że mostek zostanie wyceniony. Zapytaj na czacie przed zamówieniem, jeśli zadanie go wymaga.
Czy mogę wynająć serwer A100 lub H100 na godziny?
Tylko maszynę już stojącą w szafie, zamówioną w obecnej konfiguracji, z serwerów natychmiastowych. Kosztuje ona cenę miesięczną podzieloną przez 730 godzin, razy 1,3, z naliczaniem co do sekundy, dopóki jej nie zwolnisz. Konfiguracja na zamówienie, jak wiersze na tej stronie, jest rozliczana miesięcznie.
Jak długo trwa dostawa serwera A100 lub H100?
Około 30 minut po zatwierdzeniu, gdy maszyna z GPU już stoi w szafie, od 4 do 24 godzin, gdy montujemy GPU z magazynu, od 5 do 10 dni roboczych, gdy GPU jest kupowane, i od 10 do 15, gdy jest na przydziale. Informujemy, który wariant obowiązuje, zanim pobierzemy jakąkolwiek płatność.
Czy A100 lub H100 może transkodować wideo?
Nie sprzętowo. Żaden z nich nie ma enkodera NVENC, więc kodowanie odbywałoby się programowo na GPU lub procesorze. Potrafią dekodować, z 5 silnikami NVDEC w A100 i 7 w H100. Do transkodowania na żywo wybierz GPU z NVENC, na przykład L40S.
Czy współdzielę GPU z kimś innym?
Nie. GPU jest przekazywane bezpośrednio do Twojego systemu operacyjnego bez hipernadzorcy pomiędzy, a maszyna ma jednego najemcę. Nadal możesz sam je podzielić za pomocą Multi-Instance GPU na maksymalnie siedem instancji dla własnych zadań.
Kto odpowiada, gdy potrzebuję pomocy?
AI na naszym czacie odpowiada w ciągu sekund i może sprawdzić Twoje konto oraz serwer podczas rozmowy. Powiedz, że chcesz rozmawiać z człowiekiem, a jeden z nas przejmie tę samą rozmowę.
W formie tekstowej
Wszystkie dane na tej stronie
- GPUs
- NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
- A100 40 GB server from
- $772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
- A100 80 GB server from
- $972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
- H100 80 GB server from
- $1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
- Platforms
- Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
- Cities
- New York, Bucharest, San Francisco, Miami, Amsterdam
- Setup
- $29 once for a build with a GPU fitted
- Term
- Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
- Traffic
- Unmetered port, no egress charge
- GPU access
- PCIe passthrough to your own OS, root, no hypervisor
- Delivery
- About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
- Not included
- NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules
Gdzie indziej
Inne pytania o GPU
Wybierz GPU, a potem maszynę pod nim
Skonfiguruj serwer A100 lub H100 teraz albo podaj nam model i wielkość partii na czacie. Nasze AI odpowiada w ciągu sekund, a człowiek dołącza, gdy poprosisz.