NVIDIA H100 · A100 · PCIe
Server dedicato NVIDIA H100 GPU e server dedicato A100 La GPU completa, il tuo sistema operativo, il tuo root.
Un server GPU H100 qui è una macchina fisica, non una porzione di essa: una NVIDIA H100 80 GB PCIe o A100 (40 o 80 GB) passata al sistema operativo che installi, con root e console remota, fatturata mensilmente. Il prezzo completo più basso è $1,682.67 al mese con la H100, e $772.47 con la A100 40 GB.
- Tenant singolo
- Passthrough PCIe
- Porta senza limiti
- HBM ECC
- Nessun contratto
Le schede tecniche tralasciano quattro cose, e questa pagina le fornisce: quanto costa ciascuna GPU con la macchina che la ospita, se la scheda è la versione PCIe o il modulo SXM5, quale collegamento PCIe riceve realmente nel nostro chassis e quale delle tre opzioni serve al tuo lavoro.
A100 vs H100
Specifiche NVIDIA A100 vs H100, per le GPU PCIe che installiamo
Entrambe sono GPU da data center progettate per l'aritmetica matriciale, con memoria HBM impilata ed ECC. La H100 è la generazione successiva: maggiore larghezza di banda della memoria, Tensor Core di quarta generazione e FP8 tramite il Transformer Engine. Ogni dato qui si riferisce alla versione PCIe, l'unico formato che i nostri chassis accettano.
| Specifica | A100 40 GB | A100 80 GB | H100 80 GB PCIe |
|---|---|---|---|
| Architettura | Ampere | Ampere | Hopper |
| Memoria GPU | 40 GB HBM2, ECC | 80 GB HBM2e, ECC | 80 GB HBM2e, ECC |
| Larghezza di banda memoria | 1.555 GB/s | 1.935 GB/s | 2.039 GB/s |
| Tensor Core | Terza generazione | Terza generazione | Quarta generazione, FP8 con il Transformer Engine |
| Potenza scheda | 250 W | 300 W | 350 W |
| Interfaccia GPU | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| GPU multi-istanza | Fino a 7 istanze | Fino a 7 istanze | Fino a 7 istanze |
| Motori video | Nessun NVENC, 5 NVDEC | Nessun NVENC, 5 NVDEC | Nessun NVENC, 7 NVDEC |
| NVLink | Connettore bridge | Connettore bridge | Connettore bridge |
| Uscite display | Nessuna | Nessuna | Nessuna |
Fattore di forma
H100 PCIe vs H100 SXM5, e quale vende questa pagina
La H100 è disponibile in due forme, e i dati citati più spesso sul web appartengono al modulo piuttosto che alla scheda. HBM3, 3,35 TB/s e fino a 700 W sono il modulo SXM5: si fissa a una scheda base HGX che fa parte dello chassis, quindi non può essere montato su un server che non sia stato acquistato con essa. I nostri chassis accettano schede aggiuntive PCIe, quindi ogni H100 in questa pagina è la scheda PCIe da 80 GB.
| H100 80 GB | PCIe, ciò che installiamo | SXM5 |
|---|---|---|
| Forma | Scheda aggiuntiva PCIe a doppio slot | Modulo su scheda base HGX |
| Memoria GPU | 80 GB HBM2e, ECC | 80 GB HBM3, ECC |
| Larghezza di banda memoria | 2.039 GB/s | 3.350 GB/s |
| Potenza scheda | 350 W | Fino a 700 W |
| Collegamento host | PCIe 5.0 x16 | PCIe 5.0 x16, tramite la scheda base |
| Da GPU a GPU | Connettore bridge NVLink, 600 GB/s | NVLink con NVSwitch, 900 GB/s |
| Raffreddamento | Ad aria, in un rack standard | Ad aria o a liquido, in uno chassis HGX |
- Su una singola GPU il divario è la larghezza di banda della memoria: il modulo legge la HBM circa 1,6 volte più velocemente, il che si nota sui lavori che trasferiscono pesi o un contesto lungo dalla memoria e si nota poco sul lavoro vincolato all'aritmetica. Entrambe le schede eseguono la stessa release CUDA, lo stesso ramo del driver e le stesse build del framework.
- Il tessuto NVLink è il vero motivo per cui si acquista SXM5, e conta solo quando un lavoro si estende su più GPU. Per più di una GPU in uno chassis, o più di una macchina, server multi-GPU spiega cosa assembliamo e come comunicano le GPU.
- La A100 ha la stessa divisione. Anche il modulo SXM4 richiede una scheda base HGX, quindi le A100 40 GB e 80 GB qui sono le schede PCIe, a 1.555 e 1.935 GB/s.
Dal catalogo ordini
Prezzi dei server A100 e H100, con la macchina in cui ciascuna va
Ogni riga è una GPU su una piattaforma che la supporta. Il prezzo è la fattura mensile completa per la macchina più economica su quella piattaforma: processore, memoria, dischi, una porta senza limiti e un indirizzo IPv4, più la GPU. Configura apre quella piattaforma, dove aggiungi memoria, dischi o una porta più veloce.
| GPU | Platform | PCIe link | Cheapest machine | Cities | Per month |
|---|---|---|---|---|---|
| A100 40 GBGPU $699/mo | Intel Xeon E5-2600 v3/v4 | PCIe 3.0 x16GPU is 4.0 | Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $772.47Configure |
| A100 40 GBGPU $699/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $782.67Configure |
| A100 40 GBGPU $699/mo | AMD EPYC | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $916.59Configure |
| A100 80 GBGPU $899/mo | Intel Xeon E5-2600 v3/v4 | PCIe 3.0 x16GPU is 4.0 | Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $972.47Configure |
| A100 80 GBGPU $899/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $982.67Configure |
| A100 80 GBGPU $899/mo | AMD EPYC | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $1,116.59Configure |
| H100 80 GBGPU $1,599/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 5.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $1,682.67Configure |
| H100 80 GBGPU $1,599/mo | AMD EPYC | PCIe 4.0 x16GPU is 5.0 | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $1,816.59Configure |
Una configurazione con GPU montata paga un setup una tantum di $29. Pagando 3, 6 o 12 mesi in anticipo la tariffa mensile si riduce fino al 15%, e il prezzo non aumenta al rinnovo.
Collegamento PCIe
Quale collegamento PCIe riceve la GPU, e quando conta
Un collegamento PCIe funziona alla velocità della sua estremità più lenta. La H100 è una GPU PCIe 5.0 e la A100 una GPU PCIe 4.0; la tabella delle configurazioni mostra la generazione che lo slot di ciascuna piattaforma offre loro, e segna dove lo slot è l'estremità più lenta.
- 16 GB/sPCIe 3.0 x16, in ciascuna direzione
- 32 GB/sPCIe 4.0 x16, in ciascuna direzione
- 63 GB/sPCIe 5.0 x16, in ciascuna direzione
- Conta quando i dati attraversano il bus in continuazione: caricare pesi grandi, trasferire batch di addestramento dalla memoria host, scaricare lo stato dell'ottimizzatore sulla CPU o spostare tensori tra due GPU senza bridge NVLink.
- Conta poco una volta che il lavoro risiede nella memoria GPU. La HBM legge a 1,5-2 TB/s, circa da 25 a 130 volte più veloce di qualsiasi di quegli slot, quindi un modello che rimane caricato gira alla stessa velocità su ogni piattaforma.
- Se la tua pipeline è vincolata al bus, scegli la piattaforma con il collegamento più recente nella tabella e tieni il dataset sui dischi del server piuttosto che attraverso la rete.
Dimensionamento
A100 o H100: quale serve al tuo lavoro
Parti dalla memoria. I pesi, le attivazioni e, per l'addestramento, lo stato dell'ottimizzatore devono stare sulla GPU, e un lavoro che non ci sta non viene salvato da un chip più veloce.
A100 40 GB
Server dedicato A100 per inferenza e lavoro batch
Il prezzo più basso per HBM, ECC e GPU multi-istanza. Adatto per servire modelli piccoli e medi, scoring batch e codice scientifico che sta in 40 GB.
A100 80 GB
Il doppio della memoria, stessa generazione
Circa un quarto di larghezza di banda in più rispetto alla parte da 40 GB. Adatto quando il modello o il batch non sta in 40 GB e l'aritmetica pura non è il collo di bottiglia.
H100 80 GB
Server dedicato H100 per l'addestramento
I Tensor Core di quarta generazione e FP8 aumentano il throughput su addestramento e inferenza transformer rispetto alla A100, soprattutto dove il tuo framework usa FP8. Vale il suo prezzo quando la GPU è occupata per la maggior parte del mese.
I pesi del modello ci stanno?
| Model weights | Precision | A100 40 GB | A100 or H100 80 GB |
|---|---|---|---|
| 7-8 billion parameters | 16-bit | fits16 GB | fits16 GB |
| 8-bit | fits8 GB | fits8 GB | |
| 4-bit | fits5 GB | fits5 GB | |
| 13-14 billion parameters | 16-bit | tight28 GB | fits28 GB |
| 8-bit | fits14 GB | fits14 GB | |
| 4-bit | fits8 GB | fits8 GB | |
| 30-34 billion parameters | 16-bit | no68 GB | no68 GB |
| 8-bit | no34 GB | fits34 GB | |
| 4-bit | fits19 GB | fits19 GB | |
| 70 billion parameters | 16-bit | no140 GB | no140 GB |
| 8-bit | no70 GB | no70 GB | |
| 4-bit | no38 GB | fits38 GB |
Solo pesi. "Ci sta" lascia almeno metà di spazio libero in più per la cache KV e il runtime; "stretto" carica, ma un contesto lungo o un secondo utente esaurisce la GPU. Il fine-tuning completo in precisione mista con l'ottimizzatore Adam richiede circa 16 byte per parametro prima delle attivazioni, quindi una GPU da 80 GB addestra completamente circa 5 miliardi di parametri. LoRA e QLoRA addestrano adattatori su modelli molto più grandi nella stessa memoria. Per un dato modello, hosting LLM indica la macchina.
Nessuna delle due GPU ha un encoder video hardware. Per la transcodifica, il server dedicato L40S dispone di tre motori NVENC con AV1.
Incluso
Cosa controlli e come viene fatturato
La macchina e la GPU sono due righe mensili su una fattura. Cambia la GPU in seguito nello stesso server e la fattura si sposta della differenza tra le due GPU; i tuoi dischi e indirizzi IP restano.
Root e console remota
Un sistema operativo pulito, accesso root e il controller out-of-band del server per console, supporti virtuali e alimentazione.
Driver che fissi tu
Installi il driver NVIDIA, la release CUDA e la build del framework su cui è stato testato il tuo codice. Vuoi il driver già pronto alla consegna? Indica la versione nell'ordine.
Una porta senza limiti
Il traffico non è misurato in nessuna direzione, quindi scaricare dataset e caricare checkpoint non aggiunge nulla alla fattura. Le porte più veloci sono sul modulo d'ordine, e larghezza di banda senza limiti le elenca.
Mese per mese
Nessun contratto e nulla da firmare. Le macchine già montate in rack e prese senza modifiche sono fatturate anche a ore sui server istantanei; una configurazione su ordine è mensile.
Consegna
Quanto tempo richiede un server A100 o H100
Il tempo di consegna dipende da dove si trova la GPU il giorno in cui ordini. Scopri quale dei quattro casi si applica prima di pagare, e ogni orologio parte all'approvazione.
- 30 min
Già in rack
Una macchina che monta la GPU è in attesa nel rack.
- 4–24 h
Montata qui
Teniamo la GPU e la montiamo sulla macchina che hai configurato.
- 5–10 giorni
Acquistata
Giorni lavorativi, quando la GPU deve essere ordinata prima.
- 10–15 giorni
Su allocazione
Giorni lavorativi, quando la GPU è su allocazione e il fornitore stabilisce la data.
Marketplace GPU
Macchine A100 e H100 elencate dai loro proprietari
I proprietari elencano anche le proprie macchine A100 e H100 sul nostro marketplace, ciascuna con il suo prezzo mensile. Gli annunci della nostra azienda consociata, Primcast, compaiono qui e vengono noleggiati lì.
Risposte
Domande sui server GPU H100 e A100
Qual è la differenza tra NVIDIA A100 e H100?
L'H100 è la generazione successiva all'A100. Tra le GPU PCIe che installiamo, l'A100 ha 40 GB di HBM2 a 1.555 GB/s oppure 80 GB di HBM2e a 1.935 GB/s e un'interfaccia PCIe 4.0. L'H100 ha 80 GB di HBM2e a 2.039 GB/s, Tensor Core di quarta generazione con FP8 e un'interfaccia PCIe 5.0, e assorbe 350 W contro 250 o 300 W. Tutte e tre hanno ECC, Multi-Instance GPU e nessun encoder video.
Quanto costa un server dedicato H100?
Il prezzo mensile più basso per un server H100 80 GB completo è $1,682.67. Quella macchina è Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, e la GPU è $1,599 del totale. Una configurazione con la GPU installata aggiunge un costo di attivazione una tantum di $29, e la tabella delle configurazioni elenca ogni piattaforma con il proprio prezzo.
Quanto costa un server A100?
Il prezzo mensile più basso per un server A100 completo è $772.47 con la GPU da 40 GB e $972.47 con la GPU da 80 GB, ciascuna nella macchina più economica che la supporta. La configurazione A100 40 GB è Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Memoria, dischi e una porta più veloce hanno un prezzo nel modulo d'ordine.
L'H100 qui è PCIe o SXM5, e ha HBM3?
PCIe, e no. I nostri chassis accettano GPU PCIe aggiuntive, quindi l'H100 che installiamo è la scheda PCIe da 80 GB: HBM2e a 2.039 GB/s, 350 W, collegamento PCIe 5.0 x16. HBM3 a 3.350 GB/s e fino a 700 W sono il modulo SXM5, che si fissa a una scheda base HGX che nessuno dei nostri server monta. Su una singola GPU equivale a circa 1,6 volte la larghezza di banda della memoria, e il fabric NVLink aggiunto dal modulo conta solo sopra una GPU.
Un server H100 è adatto per addestrare modelli di intelligenza artificiale?
Sì, per modelli che stanno in 80 GB con il metodo di addestramento che usi. Il fine-tuning completo in precisione mista con Adam richiede circa 16 byte per parametro prima delle attivazioni, quindi un H100 addestra completamente circa 5 miliardi di parametri, e gli adattatori LoRA o QLoRA lo estendono a modelli molto più grandi. Oltre questo limite servono più GPU, come spiegato in server multi-GPU.
Posso mettere due o più GPU A100 o H100 in un solo server?
Spesso sì, e viene quotato manualmente invece di essere selezionato al checkout: spazio nello chassis, linee PCIe e alimentatore determinano il numero. Entrambe le GPU hanno un connettore per bridge NVLink, ma nessun bridge è nel modulo d'ordine, quindi le GPU in un server comunicano via PCIe a meno che non venga quotato un bridge. Chiedi in chat prima di ordinare se il lavoro ne richiede uno.
Posso noleggiare un server A100 o H100 a ore?
Solo una macchina già installata a rack, ordinata così com'è, da server istantanei. Costa il suo prezzo mensile diviso per 730 ore, moltiplicato per 1,3, fatturato al secondo finché non la rilasci. Una configurazione su ordinazione, come le righe di questa pagina, viene fatturata a mese.
Quanto tempo richiede la consegna di un server A100 o H100?
Circa 30 minuti dopo l'approvazione quando una macchina con la GPU è già a rack, da 4 a 24 ore quando installiamo una GPU che abbiamo in magazzino, da 5 a 10 giorni lavorativi quando la GPU viene acquistata, e da 10 a 15 quando è in allocazione. Comunichiamo quale opzione si applica prima di qualsiasi pagamento.
Una A100 o H100 può transcodificare video?
Non in hardware. Nessuna delle due ha un encoder NVENC, quindi la codifica verrebbe eseguita in software sulla GPU o sul processore. Decodificano invece, con 5 motori NVDEC sulla A100 e 7 sulla H100. Per la transcodifica live scegli una GPU con NVENC, come la L40S.
Condivido la GPU con qualcuno?
No. La GPU viene passata direttamente al tuo sistema operativo senza hypervisor in mezzo, e la macchina ha un solo tenant. Puoi comunque suddividerla tu stesso con Multi-Instance GPU fino a sette istanze per i tuoi lavori.
Chi risponde quando ho bisogno di aiuto?
L'IA sulla nostra chat risponde in pochi secondi e può consultare il tuo account e il tuo server mentre parli. Di' che vuoi una persona e uno di noi prende in carico la stessa conversazione.
In testo semplice
Tutti i dati di questa pagina
- GPUs
- NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
- A100 40 GB server from
- $772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
- A100 80 GB server from
- $972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
- H100 80 GB server from
- $1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
- Platforms
- Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
- Cities
- New York, Bucharest, San Francisco, Miami, Amsterdam
- Setup
- $29 once for a build with a GPU fitted
- Term
- Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
- Traffic
- Unmetered port, no egress charge
- GPU access
- PCIe passthrough to your own OS, root, no hypervisor
- Delivery
- About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
- Not included
- NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules
Altrove
Altre domande sulle GPU
Scegli la GPU, poi la macchina sotto di essa
Configura subito un server A100 o H100, oppure comunicaci il modello e la dimensione del batch in chat. La nostra IA risponde in pochi secondi, e una persona si unisce quando lo chiedi.