NVIDIA H100 · A100 · PCIe

Server NVIDIA H100 GPU și server dedicat A100 GPU-ul complet, sistemul tău de operare, accesul tău root.

Un server GPU H100 aici este o singură mașină fizică, nu o felie dintr-una: un NVIDIA H100 80 GB PCIe sau A100 (40 sau 80 GB) pasat către sistemul de operare pe care îl instalezi, cu root și consolă remote, facturat lunar. Cel mai mic preț complet este $1,682.67 pe lună cu H100 și $772.47 cu A100 40 GB.

  • Un singur chiriaș
  • Passthrough PCIe
  • Port nemăsurat
  • HBM ECC
  • Fără contract

Fișele tehnice omit patru lucruri, iar această pagină le oferă: cât costă fiecare GPU cu mașina de sub el, dacă placa este cea PCIe sau modulul SXM5, ce legătură PCIe primește cu adevărat în șasiul nostru și care dintre cele trei îi trebuie sarcinii tale.

A100 vs H100

Specificații NVIDIA A100 vs H100, pentru GPU-urile PCIe pe care le montăm

Ambele sunt GPU-uri de centru de date construite pentru aritmetică matriceală, cu memorie HBM stivuită și ECC. H100 este generația următoare: mai multă lățime de bandă de memorie, Tensor Cores de a patra generație și FP8 prin Transformer Engine. Fiecare cifră de aici este pentru versiunea PCIe, singura formă pe care o acceptă șasiurile noastre.

SpecificațieA100 40 GBA100 80 GBH100 80 GB PCIe
ArhitecturăAmpereAmpereHopper
Memorie GPU40 GB HBM2, ECC80 GB HBM2e, ECC80 GB HBM2e, ECC
Lățime de bandă memorie1.555 GB/s1.935 GB/s2.039 GB/s
Tensor CoresGenerația a 3-aGenerația a 3-aGenerația a 4-a, FP8 cu Transformer Engine
Putere placă250 W300 W350 W
Interfață GPUPCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
GPU multi-instancePână la 7 instanțePână la 7 instanțePână la 7 instanțe
Motoare videoFără NVENC, 5 NVDECFără NVENC, 5 NVDECFără NVENC, 7 NVDEC
NVLinkConector bridgeConector bridgeConector bridge
Ieșiri displayNiciunaNiciunaNiciuna
Surse: fișa tehnică NVIDIA A100, brief-ul de produs NVIDIA H100 PCIe, matricea de suport NVIDIA pentru codare și decodare video.

Factor de formă

H100 PCIe vs H100 SXM5 și pe care îl vinde această pagină

H100 este livrat în două forme, iar cifrele citate cel mai des pe web aparțin modulului, nu plăcii. HBM3, 3,35 TB/s și până la 700 W sunt modulul SXM5: se fixează pe o placă de bază HGX care face parte din șasiu, deci nu poate fi montat pe un server care nu a fost cumpărat cu una. Șasiurile noastre acceptă plăci adiționale PCIe, așa că fiecare H100 de pe această pagină este placa PCIe de 80 GB.

H100 80 GBPCIe, ce montăm noiSXM5
FormăPlacă adițională PCIe cu două sloturiModul pe placă de bază HGX
Memorie GPU80 GB HBM2e, ECC80 GB HBM3, ECC
Lățime de bandă memorie2.039 GB/s3.350 GB/s
Putere placă350 WPână la 700 W
Legătură gazdăPCIe 5.0 x16PCIe 5.0 x16, prin placa de bază
GPU la GPUConector bridge NVLink, 600 GB/sNVLink cu NVSwitch, 900 GB/s
RăcirePe aer, într-un rack standardPe aer sau lichid, într-un șasiu HGX
Surse: brief-ul de produs NVIDIA H100 PCIe, fișa tehnică NVIDIA H100 Tensor Core GPU, documentația platformei NVIDIA HGX.
  • Pe un singur GPU, diferența este lățimea de bandă a memoriei: modulul citește HBM de aproximativ 1,6 ori mai repede, ceea ce se vede la sarcinile care strecoară ponderi sau un context lung din memorie și se vede puțin la lucrul limitat de aritmetică. Ambele plăci rulează aceeași versiune CUDA, aceeași ramură de driver și aceleași build-uri de framework.
  • Țesătura NVLink este motivul real pentru care se cumpără SXM5, și contează doar când o sarcină se întinde pe mai multe GPU-uri. Pentru mai mult de un GPU într-un șasiu sau mai mult de o mașină, servere multi-GPU spune ce punem împreună și cum comunică GPU-urile.
  • A100 are aceeași împărțire. Modulul SXM4 are nevoie și el de o placă de bază HGX, așa că A100 40 GB și 80 GB de aici sunt plăcile PCIe, la 1.555 și 1.935 GB/s.

Din catalogul de comenzi

Prețuri server A100 și H100, cu mașina în care intră fiecare

Fiecare rând este un GPU pe o platformă care îl acceptă. Prețul este factura lunară completă pentru cea mai ieftină mașină de pe acea platformă: procesor, memorie, discuri, un port nemăsurat și o adresă IPv4, plus GPU-ul. Configurează deschide acea platformă, unde adaugi memorie, discuri sau un port mai rapid.

GPUPlatformPCIe linkCheapest machineCitiesPer month
A100 40 GBGPU $699/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$772.47Configure
A100 40 GBGPU $699/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$782.67Configure
A100 40 GBGPU $699/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$916.59Configure
A100 80 GBGPU $899/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$972.47Configure
A100 80 GBGPU $899/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$982.67Configure
A100 80 GBGPU $899/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,116.59Configure
H100 80 GBGPU $1,599/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$1,682.67Configure
H100 80 GBGPU $1,599/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,816.59Configure

O configurație cu GPU montat plătește o taxă unică de instalare de $29. Plata în avans pentru 3, 6 sau 12 luni reduce rata lunară cu până la 15%, iar prețul nu crește la reînnoire.

Legătura PCIe

Ce legătură PCIe primește GPU-ul și când contează

O legătură PCIe rulează la viteza capătului său mai lent. H100 este un GPU PCIe 5.0, iar A100 un GPU PCIe 4.0; tabelul de configurații arată generația pe care slotul fiecărei platforme le-o oferă și marchează unde slotul este capătul mai lent.

  • 16 GB/sPCIe 3.0 x16, pe fiecare direcție
  • 32 GB/sPCIe 4.0 x16, pe fiecare direcție
  • 63 GB/sPCIe 5.0 x16, pe fiecare direcție
  • Contează când datele traversează magistrala tot timpul: încărcarea de ponderi mari, fluxul de loturi de antrenament din memoria gazdei, descărcarea stării optimizerului către CPU sau mutarea tensorilor între două GPU-uri care nu au bridge NVLink.
  • Contează puțin odată ce lucrul stă în memoria GPU. HBM citește la 1,5 până la 2 TB/s, de aproximativ 25 până la 130 de ori mai repede decât oricare dintre acele sloturi, așa că un model care rămâne încărcat rulează la aceeași viteză pe fiecare platformă.
  • Dacă pipeline-ul tău este limitat de magistrală, alege platforma cu cea mai nouă legătură din tabel și păstrează setul de date pe discurile serverului, nu în rețea.

Dimensionare

A100 sau H100: de care are nevoie sarcina ta

Începe de la memorie. Ponderile, activările și, pentru antrenament, starea optimizerului trebuie să încapă pe GPU, iar o sarcină care nu încape nu este salvată de un cip mai rapid.

A100 40 GB

Server dedicat A100 pentru inferență și lucru pe loturi

Cel mai mic preț pentru HBM, ECC și GPU multi-instance. Potrivit pentru servirea modelelor mici și mijlocii, scorare pe loturi și cod științific care încape în 40 GB.

A100 80 GB

Dublul memoriei, aceeași generație

Cu aproximativ un sfert mai multă lățime de bandă decât piesa de 40 GB. Potrivit când modelul sau lotul nu încape în 40 GB, iar aritmetica brută nu este blocajul.

H100 80 GB

Server dedicat H100 pentru antrenament

Tensor Cores de a patra generație și FP8 ridică debitul la antrenarea și inferența transformerelor față de A100, cel mai mult acolo unde framework-ul tău folosește FP8. Își merită prețul când GPU-ul este ocupat cea mai mare parte a lunii.

Încap ponderile modelului?

Model weightsPrecisionA100 40 GBA100 or H100 80 GB
7-8 billion parameters16-bitfits16 GBfits16 GB
8-bitfits8 GBfits8 GB
4-bitfits5 GBfits5 GB
13-14 billion parameters16-bittight28 GBfits28 GB
8-bitfits14 GBfits14 GB
4-bitfits8 GBfits8 GB
30-34 billion parameters16-bitno68 GBno68 GB
8-bitno34 GBfits34 GB
4-bitfits19 GBfits19 GB
70 billion parameters16-bitno140 GBno140 GB
8-bitno70 GBno70 GB
4-bitno38 GBfits38 GB

Doar ponderile. „Încap” lasă cel puțin jumătate din nou liber pentru cache-ul KV și runtime; „la limită” încarcă, dar un context lung sau un al doilea utilizator epuizează GPU-ul. Ajustarea fină completă în precizie mixtă cu optimizerul Adam are nevoie de aproximativ 16 octeți pe parametru înainte de activări, așa că un GPU de 80 GB antrenează complet aproximativ 5 miliarde de parametri. LoRA și QLoRA antrenează adaptoare pe modele mult mai mari în aceeași memorie. Pentru un anumit model, găzduirea LLM numește mașina.

Niciun GPU nu are encoder video hardware. Pentru transcodare, serverul dedicat L40S poartă trei motoare NVENC cu AV1.

Inclus

Ce controlezi și cum se facturează

Mașina și GPU-ul sunt două linii lunare pe o singură factură. Schimbi GPU-ul mai târziu în același server, iar factura se modifică cu diferența dintre cele două GPU-uri; discurile și adresele IP rămân.

Root și consolă remote

Un sistem de operare curat, acces root și controlerul out-of-band al serverului pentru consolă, medii virtuale și alimentare.

Drivere pe care le fixezi tu

Instalezi driverul NVIDIA, versiunea CUDA și build-ul de framework pe care a fost testat codul tău. Vrei driverul instalat la predare? Pune versiunea pe comandă.

Un port nemăsurat

Traficul nu este măsurat în nicio direcție, așa că descărcarea seturilor de date și încărcarea checkpoint-urilor nu adaugă nimic la factură. Porturile mai rapide sunt pe formularul de comandă, iar lățimea de bandă nemăsurată le listează.

De la lună la lună

Fără contract și fără nimic de semnat. Mașinile deja în rack, luate fără modificări, sunt facturate și la oră pe servere instant; o configurație la comandă este lunară.

Livrare

Cât durează un server A100 sau H100

Timpul de livrare este stabilit de locul unde se află GPU-ul în ziua în care comanzi. Afli care dintre cele patru cazuri se aplică înainte să plătești, iar fiecare ceas pornește la aprobare.

  1. 30 min

    Deja în rack

    O mașină care poartă GPU-ul așteaptă în rack.

  2. 4–24 h

    Montat aici

    Avem GPU-ul în stoc și îl montăm pe mașina pe care ai configurat-o.

  3. 5–10 zile

    Cumpărat

    Zile lucrătoare, când GPU-ul trebuie comandat mai întâi.

  4. 10–15 zile

    Pe alocare

    Zile lucrătoare, când GPU-ul este pe alocare, iar furnizorul stabilește data.

Răspunsuri

Întrebări despre serverele GPU H100 și A100

Care este diferența dintre NVIDIA A100 și H100?

H100 este generația următoare după A100. Ca GPU-uri PCIe pe care le instalăm, A100 are 40 GB de HBM2 la 1.555 GB/s sau 80 GB de HBM2e la 1.935 GB/s și o interfață PCIe 4.0. H100 are 80 GB de HBM2e la 2.039 GB/s, Tensor Cores de a patra generație cu FP8 și o interfață PCIe 5.0, și consumă 350 W față de 250 sau 300 W. Toate trei au ECC, Multi-Instance GPU și niciun encoder video.

Cât costă un server dedicat H100?

Cel mai mic preț lunar pentru un server complet H100 de 80 GB este $1,682.67. Acea mașină este Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, iar GPU-ul reprezintă $1,599 din total. O configurație cu GPU-ul instalat adaugă o taxă unică de instalare de $29, iar tabelul de configurații listează fiecare platformă cu prețul ei propriu.

Cât costă un server A100?

Cel mai mic preț lunar pentru un server complet A100 este $772.47 cu GPU-ul de 40 GB și $972.47 cu GPU-ul de 80 GB, fiecare în cea mai ieftină mașină care îl acceptă. Configurația A100 de 40 GB este Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Memoria, discurile și un port mai rapid sunt tarifate în formularul de comandă.

H100 de aici este PCIe sau SXM5 și are HBM3?

PCIe, și nu. Șasiurile noastre acceptă GPU-uri PCIe add-in, deci H100 pe care îl instalăm este placa PCIe de 80 GB: HBM2e la 2.039 GB/s, 350 W, o legătură PCIe 5.0 x16. HBM3 la 3.350 GB/s și până la 700 W sunt modulul SXM5, care se fixează pe o placă de bază HGX pe care niciunul dintre serverele noastre nu o are. Pe un singur GPU, aceasta înseamnă de aproximativ 1,6 ori lățimea de bandă a memoriei, iar structura NVLink pe care modulul o adaugă contează doar peste un GPU.

Este un server H100 potrivit pentru antrenarea modelelor AI?

Da, pentru modele care încap în 80 GB cu metoda de antrenare pe care o folosești. Ajustarea fină completă în precizie mixtă cu Adam necesită aproximativ 16 octeți per parametru înainte de activări, deci un H100 antrenează complet aproximativ 5 miliarde de parametri, iar adaptoarele LoRA sau QLoRA îl extind la modele mult mai mari. Dincolo de asta, sarcina necesită mai multe GPU-uri, lucru acoperit de serverele multi-GPU.

Pot pune două sau mai multe GPU-uri A100 sau H100 într-un singur server?

Adesea, și se cotează manual, nu se bifează la finalizarea comenzii: spațiul din șasiu, liniile PCIe și sursa de alimentare stabilesc numărul. Ambele GPU-uri au un conector de punte NVLink, dar nicio punte nu este în formularul de comandă, deci GPU-urile dintr-un server comunică prin PCIe, cu excepția cazului în care se cotează o punte. Întreabă în chat înainte de a comanda dacă sarcina necesită una.

Pot închiria un server A100 sau H100 cu ora?

Doar o mașină deja instalată în rack, comandată așa cum este, din serverele instant. Costă prețul lunar împărțit la 730 de ore, înmulțit cu 1,3, contorizat la secundă până când îl eliberezi. O configurație la comandă, precum rândurile de pe această pagină, se facturează lunar.

Cât durează livrarea unui server A100 sau H100?

Aproximativ 30 minute după aprobare când o mașină cu GPU-ul este deja instalată în rack, 4 până la 24 de ore când instalăm un GPU pe care îl avem în stoc, 5 până la 10 zile lucrătoare când GPU-ul este achiziționat și 10 până la 15 când este pe alocare. Spunem care variantă se aplică înainte de a se prelua orice plată.

Poate un A100 sau H100 să transcodifice video?

Nu în hardware. Niciunul nu are encoder NVENC, deci codificarea ar rula în software pe GPU sau pe procesor. Ele decodează, cu 5 motoare NVDEC pe A100 și 7 pe H100. Pentru transcodificare live alege un GPU cu NVENC, cum ar fi L40S.

Împart GPU-ul cu altcineva?

Nu. GPU-ul este pasat direct către propriul tău sistem de operare, fără niciun hypervisor între ele, iar mașina are un singur chiriaș. Îl poți împărți totuși tu însuți cu Multi-Instance GPU în până la șapte instanțe pentru propriile tale sarcini.

Cine răspunde când am nevoie de ajutor?

AI-ul din chatul nostru răspunde în câteva secunde și poate căuta contul tău și serverul tău în timp ce vorbești. Spune că vrei o persoană și unul dintre noi preia aceeași conversație.

În text simplu

Fiecare cifră de pe această pagină

GPUs
NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
A100 40 GB server from
$772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
A100 80 GB server from
$972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
H100 80 GB server from
$1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
Platforms
Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami, Amsterdam
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
Not included
NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules

Alege GPU-ul, apoi mașina de sub el

Configurează acum un server A100 sau H100 sau spune-ne modelul și dimensiunea lotului în chat. AI-ul nostru răspunde în câteva secunde, iar o persoană se alătură când ceri.

Configurează un server H100