NVIDIA H100 · A100 · PCIe

Server dedicato NVIDIA H100 GPU e server dedicato A100 La GPU completa, il tuo sistema operativo, il tuo root.

Un server GPU H100 qui è una macchina fisica, non una porzione di essa: una NVIDIA H100 80 GB PCIe o A100 (40 o 80 GB) passata al sistema operativo che installi, con root e console remota, fatturata mensilmente. Il prezzo completo più basso è $1,682.67 al mese con la H100, e $772.47 con la A100 40 GB.

  • Tenant singolo
  • Passthrough PCIe
  • Porta senza limiti
  • HBM ECC
  • Nessun contratto

Le schede tecniche tralasciano quattro cose, e questa pagina le fornisce: quanto costa ciascuna GPU con la macchina che la ospita, se la scheda è la versione PCIe o il modulo SXM5, quale collegamento PCIe riceve realmente nel nostro chassis e quale delle tre opzioni serve al tuo lavoro.

A100 vs H100

Specifiche NVIDIA A100 vs H100, per le GPU PCIe che installiamo

Entrambe sono GPU da data center progettate per l'aritmetica matriciale, con memoria HBM impilata ed ECC. La H100 è la generazione successiva: maggiore larghezza di banda della memoria, Tensor Core di quarta generazione e FP8 tramite il Transformer Engine. Ogni dato qui si riferisce alla versione PCIe, l'unico formato che i nostri chassis accettano.

SpecificaA100 40 GBA100 80 GBH100 80 GB PCIe
ArchitetturaAmpereAmpereHopper
Memoria GPU40 GB HBM2, ECC80 GB HBM2e, ECC80 GB HBM2e, ECC
Larghezza di banda memoria1.555 GB/s1.935 GB/s2.039 GB/s
Tensor CoreTerza generazioneTerza generazioneQuarta generazione, FP8 con il Transformer Engine
Potenza scheda250 W300 W350 W
Interfaccia GPUPCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
GPU multi-istanzaFino a 7 istanzeFino a 7 istanzeFino a 7 istanze
Motori videoNessun NVENC, 5 NVDECNessun NVENC, 5 NVDECNessun NVENC, 7 NVDEC
NVLinkConnettore bridgeConnettore bridgeConnettore bridge
Uscite displayNessunaNessunaNessuna
Fonti: scheda tecnica NVIDIA A100, brief prodotto NVIDIA H100 PCIe, matrice di supporto codifica e decodifica video NVIDIA.

Fattore di forma

H100 PCIe vs H100 SXM5, e quale vende questa pagina

La H100 è disponibile in due forme, e i dati citati più spesso sul web appartengono al modulo piuttosto che alla scheda. HBM3, 3,35 TB/s e fino a 700 W sono il modulo SXM5: si fissa a una scheda base HGX che fa parte dello chassis, quindi non può essere montato su un server che non sia stato acquistato con essa. I nostri chassis accettano schede aggiuntive PCIe, quindi ogni H100 in questa pagina è la scheda PCIe da 80 GB.

H100 80 GBPCIe, ciò che installiamoSXM5
FormaScheda aggiuntiva PCIe a doppio slotModulo su scheda base HGX
Memoria GPU80 GB HBM2e, ECC80 GB HBM3, ECC
Larghezza di banda memoria2.039 GB/s3.350 GB/s
Potenza scheda350 WFino a 700 W
Collegamento hostPCIe 5.0 x16PCIe 5.0 x16, tramite la scheda base
Da GPU a GPUConnettore bridge NVLink, 600 GB/sNVLink con NVSwitch, 900 GB/s
RaffreddamentoAd aria, in un rack standardAd aria o a liquido, in uno chassis HGX
Fonti: brief prodotto NVIDIA H100 PCIe, scheda tecnica NVIDIA H100 Tensor Core GPU, documentazione piattaforma NVIDIA HGX.
  • Su una singola GPU il divario è la larghezza di banda della memoria: il modulo legge la HBM circa 1,6 volte più velocemente, il che si nota sui lavori che trasferiscono pesi o un contesto lungo dalla memoria e si nota poco sul lavoro vincolato all'aritmetica. Entrambe le schede eseguono la stessa release CUDA, lo stesso ramo del driver e le stesse build del framework.
  • Il tessuto NVLink è il vero motivo per cui si acquista SXM5, e conta solo quando un lavoro si estende su più GPU. Per più di una GPU in uno chassis, o più di una macchina, server multi-GPU spiega cosa assembliamo e come comunicano le GPU.
  • La A100 ha la stessa divisione. Anche il modulo SXM4 richiede una scheda base HGX, quindi le A100 40 GB e 80 GB qui sono le schede PCIe, a 1.555 e 1.935 GB/s.

Dal catalogo ordini

Prezzi dei server A100 e H100, con la macchina in cui ciascuna va

Ogni riga è una GPU su una piattaforma che la supporta. Il prezzo è la fattura mensile completa per la macchina più economica su quella piattaforma: processore, memoria, dischi, una porta senza limiti e un indirizzo IPv4, più la GPU. Configura apre quella piattaforma, dove aggiungi memoria, dischi o una porta più veloce.

GPUPlatformPCIe linkCheapest machineCitiesPer month
A100 40 GBGPU $699/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$772.47Configure
A100 40 GBGPU $699/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$782.67Configure
A100 40 GBGPU $699/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$916.59Configure
A100 80 GBGPU $899/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$972.47Configure
A100 80 GBGPU $899/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$982.67Configure
A100 80 GBGPU $899/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,116.59Configure
H100 80 GBGPU $1,599/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$1,682.67Configure
H100 80 GBGPU $1,599/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,816.59Configure

Una configurazione con GPU montata paga un setup una tantum di $29. Pagando 3, 6 o 12 mesi in anticipo la tariffa mensile si riduce fino al 15%, e il prezzo non aumenta al rinnovo.

Collegamento PCIe

Quale collegamento PCIe riceve la GPU, e quando conta

Un collegamento PCIe funziona alla velocità della sua estremità più lenta. La H100 è una GPU PCIe 5.0 e la A100 una GPU PCIe 4.0; la tabella delle configurazioni mostra la generazione che lo slot di ciascuna piattaforma offre loro, e segna dove lo slot è l'estremità più lenta.

  • 16 GB/sPCIe 3.0 x16, in ciascuna direzione
  • 32 GB/sPCIe 4.0 x16, in ciascuna direzione
  • 63 GB/sPCIe 5.0 x16, in ciascuna direzione
  • Conta quando i dati attraversano il bus in continuazione: caricare pesi grandi, trasferire batch di addestramento dalla memoria host, scaricare lo stato dell'ottimizzatore sulla CPU o spostare tensori tra due GPU senza bridge NVLink.
  • Conta poco una volta che il lavoro risiede nella memoria GPU. La HBM legge a 1,5-2 TB/s, circa da 25 a 130 volte più veloce di qualsiasi di quegli slot, quindi un modello che rimane caricato gira alla stessa velocità su ogni piattaforma.
  • Se la tua pipeline è vincolata al bus, scegli la piattaforma con il collegamento più recente nella tabella e tieni il dataset sui dischi del server piuttosto che attraverso la rete.

Dimensionamento

A100 o H100: quale serve al tuo lavoro

Parti dalla memoria. I pesi, le attivazioni e, per l'addestramento, lo stato dell'ottimizzatore devono stare sulla GPU, e un lavoro che non ci sta non viene salvato da un chip più veloce.

A100 40 GB

Server dedicato A100 per inferenza e lavoro batch

Il prezzo più basso per HBM, ECC e GPU multi-istanza. Adatto per servire modelli piccoli e medi, scoring batch e codice scientifico che sta in 40 GB.

A100 80 GB

Il doppio della memoria, stessa generazione

Circa un quarto di larghezza di banda in più rispetto alla parte da 40 GB. Adatto quando il modello o il batch non sta in 40 GB e l'aritmetica pura non è il collo di bottiglia.

H100 80 GB

Server dedicato H100 per l'addestramento

I Tensor Core di quarta generazione e FP8 aumentano il throughput su addestramento e inferenza transformer rispetto alla A100, soprattutto dove il tuo framework usa FP8. Vale il suo prezzo quando la GPU è occupata per la maggior parte del mese.

I pesi del modello ci stanno?

Model weightsPrecisionA100 40 GBA100 or H100 80 GB
7-8 billion parameters16-bitfits16 GBfits16 GB
8-bitfits8 GBfits8 GB
4-bitfits5 GBfits5 GB
13-14 billion parameters16-bittight28 GBfits28 GB
8-bitfits14 GBfits14 GB
4-bitfits8 GBfits8 GB
30-34 billion parameters16-bitno68 GBno68 GB
8-bitno34 GBfits34 GB
4-bitfits19 GBfits19 GB
70 billion parameters16-bitno140 GBno140 GB
8-bitno70 GBno70 GB
4-bitno38 GBfits38 GB

Solo pesi. "Ci sta" lascia almeno metà di spazio libero in più per la cache KV e il runtime; "stretto" carica, ma un contesto lungo o un secondo utente esaurisce la GPU. Il fine-tuning completo in precisione mista con l'ottimizzatore Adam richiede circa 16 byte per parametro prima delle attivazioni, quindi una GPU da 80 GB addestra completamente circa 5 miliardi di parametri. LoRA e QLoRA addestrano adattatori su modelli molto più grandi nella stessa memoria. Per un dato modello, hosting LLM indica la macchina.

Nessuna delle due GPU ha un encoder video hardware. Per la transcodifica, il server dedicato L40S dispone di tre motori NVENC con AV1.

Incluso

Cosa controlli e come viene fatturato

La macchina e la GPU sono due righe mensili su una fattura. Cambia la GPU in seguito nello stesso server e la fattura si sposta della differenza tra le due GPU; i tuoi dischi e indirizzi IP restano.

Root e console remota

Un sistema operativo pulito, accesso root e il controller out-of-band del server per console, supporti virtuali e alimentazione.

Driver che fissi tu

Installi il driver NVIDIA, la release CUDA e la build del framework su cui è stato testato il tuo codice. Vuoi il driver già pronto alla consegna? Indica la versione nell'ordine.

Una porta senza limiti

Il traffico non è misurato in nessuna direzione, quindi scaricare dataset e caricare checkpoint non aggiunge nulla alla fattura. Le porte più veloci sono sul modulo d'ordine, e larghezza di banda senza limiti le elenca.

Mese per mese

Nessun contratto e nulla da firmare. Le macchine già montate in rack e prese senza modifiche sono fatturate anche a ore sui server istantanei; una configurazione su ordine è mensile.

Consegna

Quanto tempo richiede un server A100 o H100

Il tempo di consegna dipende da dove si trova la GPU il giorno in cui ordini. Scopri quale dei quattro casi si applica prima di pagare, e ogni orologio parte all'approvazione.

  1. 30 min

    Già in rack

    Una macchina che monta la GPU è in attesa nel rack.

  2. 4–24 h

    Montata qui

    Teniamo la GPU e la montiamo sulla macchina che hai configurato.

  3. 5–10 giorni

    Acquistata

    Giorni lavorativi, quando la GPU deve essere ordinata prima.

  4. 10–15 giorni

    Su allocazione

    Giorni lavorativi, quando la GPU è su allocazione e il fornitore stabilisce la data.

Risposte

Domande sui server GPU H100 e A100

Qual è la differenza tra NVIDIA A100 e H100?

L'H100 è la generazione successiva all'A100. Tra le GPU PCIe che installiamo, l'A100 ha 40 GB di HBM2 a 1.555 GB/s oppure 80 GB di HBM2e a 1.935 GB/s e un'interfaccia PCIe 4.0. L'H100 ha 80 GB di HBM2e a 2.039 GB/s, Tensor Core di quarta generazione con FP8 e un'interfaccia PCIe 5.0, e assorbe 350 W contro 250 o 300 W. Tutte e tre hanno ECC, Multi-Instance GPU e nessun encoder video.

Quanto costa un server dedicato H100?

Il prezzo mensile più basso per un server H100 80 GB completo è $1,682.67. Quella macchina è Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, e la GPU è $1,599 del totale. Una configurazione con la GPU installata aggiunge un costo di attivazione una tantum di $29, e la tabella delle configurazioni elenca ogni piattaforma con il proprio prezzo.

Quanto costa un server A100?

Il prezzo mensile più basso per un server A100 completo è $772.47 con la GPU da 40 GB e $972.47 con la GPU da 80 GB, ciascuna nella macchina più economica che la supporta. La configurazione A100 40 GB è Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Memoria, dischi e una porta più veloce hanno un prezzo nel modulo d'ordine.

L'H100 qui è PCIe o SXM5, e ha HBM3?

PCIe, e no. I nostri chassis accettano GPU PCIe aggiuntive, quindi l'H100 che installiamo è la scheda PCIe da 80 GB: HBM2e a 2.039 GB/s, 350 W, collegamento PCIe 5.0 x16. HBM3 a 3.350 GB/s e fino a 700 W sono il modulo SXM5, che si fissa a una scheda base HGX che nessuno dei nostri server monta. Su una singola GPU equivale a circa 1,6 volte la larghezza di banda della memoria, e il fabric NVLink aggiunto dal modulo conta solo sopra una GPU.

Un server H100 è adatto per addestrare modelli di intelligenza artificiale?

Sì, per modelli che stanno in 80 GB con il metodo di addestramento che usi. Il fine-tuning completo in precisione mista con Adam richiede circa 16 byte per parametro prima delle attivazioni, quindi un H100 addestra completamente circa 5 miliardi di parametri, e gli adattatori LoRA o QLoRA lo estendono a modelli molto più grandi. Oltre questo limite servono più GPU, come spiegato in server multi-GPU.

Posso mettere due o più GPU A100 o H100 in un solo server?

Spesso sì, e viene quotato manualmente invece di essere selezionato al checkout: spazio nello chassis, linee PCIe e alimentatore determinano il numero. Entrambe le GPU hanno un connettore per bridge NVLink, ma nessun bridge è nel modulo d'ordine, quindi le GPU in un server comunicano via PCIe a meno che non venga quotato un bridge. Chiedi in chat prima di ordinare se il lavoro ne richiede uno.

Posso noleggiare un server A100 o H100 a ore?

Solo una macchina già installata a rack, ordinata così com'è, da server istantanei. Costa il suo prezzo mensile diviso per 730 ore, moltiplicato per 1,3, fatturato al secondo finché non la rilasci. Una configurazione su ordinazione, come le righe di questa pagina, viene fatturata a mese.

Quanto tempo richiede la consegna di un server A100 o H100?

Circa 30 minuti dopo l'approvazione quando una macchina con la GPU è già a rack, da 4 a 24 ore quando installiamo una GPU che abbiamo in magazzino, da 5 a 10 giorni lavorativi quando la GPU viene acquistata, e da 10 a 15 quando è in allocazione. Comunichiamo quale opzione si applica prima di qualsiasi pagamento.

Una A100 o H100 può transcodificare video?

Non in hardware. Nessuna delle due ha un encoder NVENC, quindi la codifica verrebbe eseguita in software sulla GPU o sul processore. Decodificano invece, con 5 motori NVDEC sulla A100 e 7 sulla H100. Per la transcodifica live scegli una GPU con NVENC, come la L40S.

Condivido la GPU con qualcuno?

No. La GPU viene passata direttamente al tuo sistema operativo senza hypervisor in mezzo, e la macchina ha un solo tenant. Puoi comunque suddividerla tu stesso con Multi-Instance GPU fino a sette istanze per i tuoi lavori.

Chi risponde quando ho bisogno di aiuto?

L'IA sulla nostra chat risponde in pochi secondi e può consultare il tuo account e il tuo server mentre parli. Di' che vuoi una persona e uno di noi prende in carico la stessa conversazione.

In testo semplice

Tutti i dati di questa pagina

GPUs
NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
A100 40 GB server from
$772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
A100 80 GB server from
$972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
H100 80 GB server from
$1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
Platforms
Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami, Amsterdam
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
Not included
NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules

Scegli la GPU, poi la macchina sotto di essa

Configura subito un server A100 o H100, oppure comunicaci il modello e la dimensione del batch in chat. La nostra IA risponde in pochi secondi, e una persona si unisce quando lo chiedi.