NVIDIA H100 · A100 · PCIe

Serveur GPU NVIDIA H100 et serveur dédié A100 Le GPU complet, votre système d'exploitation, votre accès root.

Un serveur GPU H100 chez nous est une machine physique, pas une portion de machine : un NVIDIA H100 80 Go PCIe ou A100 (40 ou 80 Go) transmis directement au système d'exploitation que vous installez, avec accès root et console distante, facturé au mois. Le prix complet le plus bas est de $1,682.67 par mois avec le H100, et de $772.47 avec l'A100 40 Go.

  • Locataire unique
  • Passthrough PCIe
  • Port non mesuré
  • HBM ECC
  • Sans engagement

Les fiches techniques omettent quatre choses, et cette page les donne : ce que coûte chaque GPU avec la machine qui le porte, si la carte est la version PCIe ou le module SXM5, quelle liaison PCIe elle obtient réellement dans nos châssis, et laquelle des trois convient à votre charge de travail.

A100 vs H100

Spécifications NVIDIA A100 vs H100, pour les GPU PCIe que nous installons

Les deux sont des GPU de centre de données conçus pour le calcul matriciel, avec mémoire HBM empilée et ECC. Le H100 est la génération suivante : plus de bande passante mémoire, Tensor Cores de quatrième génération et FP8 via le Transformer Engine. Chaque chiffre ici concerne la version PCIe, la seule que nos châssis acceptent.

SpécificationA100 40 GoA100 80 GoH100 80 Go PCIe
ArchitectureAmpereAmpereHopper
Mémoire GPU40 Go HBM2, ECC80 Go HBM2e, ECC80 Go HBM2e, ECC
Bande passante mémoire1 555 Go/s1 935 Go/s2 039 Go/s
Tensor Cores3e génération3e génération4e génération, FP8 avec le Transformer Engine
Puissance de la carte250 W300 W350 W
Interface GPUPCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
GPU multi-instanceJusqu'à 7 instancesJusqu'à 7 instancesJusqu'à 7 instances
Moteurs vidéoPas de NVENC, 5 NVDECPas de NVENC, 5 NVDECPas de NVENC, 7 NVDEC
NVLinkConnecteur pontConnecteur pontConnecteur pont
Sorties d'affichageAucuneAucuneAucune
Sources : fiche technique NVIDIA A100, note de produit NVIDIA H100 PCIe, matrice de prise en charge NVIDIA pour l'encodage et le décodage vidéo.

Format

H100 PCIe vs H100 SXM5, et lequel cette page vend

Le H100 existe en deux formats, et les chiffres les plus souvent cités sur le web appartiennent au module plutôt qu'à la carte. HBM3, 3,35 To/s et jusqu'à 700 W sont le module SXM5 : il se fixe sur une carte de base HGX qui fait partie du châssis, et ne peut donc pas être installé sur un serveur qui n'a pas été acheté avec. Nos châssis acceptent des cartes d'extension PCIe, donc chaque H100 de cette page est la carte PCIe 80 Go.

H100 80 GoPCIe, ce que nous installonsSXM5
FormatCarte d'extension PCIe double emplacementModule sur carte de base HGX
Mémoire GPU80 Go HBM2e, ECC80 Go HBM3, ECC
Bande passante mémoire2 039 Go/s3 350 Go/s
Puissance de la carte350 WJusqu'à 700 W
Liaison hôtePCIe 5.0 x16PCIe 5.0 x16, via la carte de base
GPU à GPUConnecteur pont NVLink, 600 Go/sNVLink avec NVSwitch, 900 Go/s
RefroidissementAir, dans un rack standardAir ou liquide, dans un châssis HGX
Sources : note de produit NVIDIA H100 PCIe, fiche technique NVIDIA H100 Tensor Core GPU, documentation de la plateforme NVIDIA HGX.
  • Sur un seul GPU, l'écart est la bande passante mémoire : le module lit la HBM environ 1,6 fois plus vite, ce qui se voit sur les tâches qui font transiter des poids ou un long contexte hors de la mémoire, et peu sur le travail limité par l'arithmétique. Les deux cartes utilisent la même version de CUDA, la même branche de pilote et les mêmes builds de frameworks.
  • Le tissu NVLink est la vraie raison d'acheter le SXM5, et il ne compte que lorsqu'une tâche s'étend sur plusieurs GPU. Pour plus d'un GPU dans un châssis, ou plus d'une machine, serveurs multi-GPU explique ce que nous assemblons et comment les GPU communiquent.
  • L'A100 a la même division. Le module SXM4 nécessite aussi une carte de base HGX, donc les A100 40 Go et 80 Go ici sont les cartes PCIe, à 1 555 et 1 935 Go/s.

Du catalogue de commande

Prix des serveurs A100 et H100, avec la machine dans laquelle chacun va

Chaque ligne est un GPU sur une plateforme qui l'accepte. Le prix est la facture mensuelle complète pour la machine la moins chère sur cette plateforme : processeur, mémoire, disques, un port non mesuré et une adresse IPv4, plus le GPU. Configurer ouvre cette plateforme, où vous ajoutez de la mémoire, des disques ou un port plus rapide.

GPUPlatformPCIe linkCheapest machineCitiesPer month
A100 40 GBGPU $699/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$772.47Configure
A100 40 GBGPU $699/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$782.67Configure
A100 40 GBGPU $699/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$916.59Configure
A100 80 GBGPU $899/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$972.47Configure
A100 80 GBGPU $899/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$982.67Configure
A100 80 GBGPU $899/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,116.59Configure
H100 80 GBGPU $1,599/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$1,682.67Configure
H100 80 GBGPU $1,599/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,816.59Configure

Une configuration avec GPU installé paie des frais d'installation uniques de $29. Payer 3, 6 ou 12 mois d'avance réduit le tarif mensuel jusqu'à 15%, et le prix n'augmente pas au renouvellement.

Liaison PCIe

Quelle liaison PCIe le GPU obtient, et quand cela compte

Une liaison PCIe fonctionne à la vitesse de son extrémité la plus lente. Le H100 est un GPU PCIe 5.0 et l'A100 un GPU PCIe 4.0 ; le tableau des configurations montre la génération que le slot de chaque plateforme leur donne, et signale où le slot est l'extrémité la plus lente.

  • 16 Go/sPCIe 3.0 x16, dans chaque sens
  • 32 Go/sPCIe 4.0 x16, dans chaque sens
  • 63 Go/sPCIe 5.0 x16, dans chaque sens
  • Cela compte quand les données traversent le bus en permanence : chargement de gros poids, streaming de lots d'entraînement depuis la mémoire hôte, déchargement de l'état de l'optimiseur vers le CPU, ou déplacement de tenseurs entre deux GPU sans pont NVLink.
  • Cela compte peu une fois que le travail est en mémoire GPU. La HBM lit à 1,5 à 2 To/s, soit environ 25 à 130 fois plus vite que n'importe lequel de ces slots, donc un modèle qui reste chargé tourne à la même vitesse sur toutes les plateformes.
  • Si votre pipeline est limité par le bus, choisissez la plateforme avec la liaison la plus récente dans le tableau, et gardez le jeu de données sur les disques du serveur plutôt qu'à travers le réseau.

Dimensionnement

A100 ou H100 : lequel votre tâche exige

Commencez par la mémoire. Les poids, les activations et, pour l'entraînement, l'état de l'optimiseur doivent tenir sur le GPU, et une tâche qui ne tient pas n'est pas sauvée par une puce plus rapide.

A100 40 Go

Serveur dédié A100 pour l'inférence et le travail par lots

Le prix le plus bas pour la HBM, l'ECC et le GPU multi-instance. Idéal pour servir des modèles petits et moyens, le scoring par lots et le code scientifique qui tient dans 40 Go.

A100 80 Go

Deux fois la mémoire, même génération

Environ un quart de bande passante en plus par rapport à la version 40 Go. Idéal quand le modèle ou le lot ne tient pas dans 40 Go et que l'arithmétique brute n'est pas le goulot d'étranglement.

H100 80 Go

Serveur dédié H100 pour l'entraînement

Les Tensor Cores de quatrième génération et le FP8 augmentent le débit sur l'entraînement et l'inférence de transformers par rapport à l'A100, surtout là où votre framework utilise le FP8. Vaut son prix quand le GPU est occupé la majeure partie du mois.

Les poids du modèle tiendront-ils ?

Model weightsPrecisionA100 40 GBA100 or H100 80 GB
7-8 billion parameters16-bitfits16 GBfits16 GB
8-bitfits8 GBfits8 GB
4-bitfits5 GBfits5 GB
13-14 billion parameters16-bittight28 GBfits28 GB
8-bitfits14 GBfits14 GB
4-bitfits8 GBfits8 GB
30-34 billion parameters16-bitno68 GBno68 GB
8-bitno34 GBfits34 GB
4-bitfits19 GBfits19 GB
70 billion parameters16-bitno140 GBno140 GB
8-bitno70 GBno70 GB
4-bitno38 GBfits38 GB

Poids uniquement. « Tient » laisse au moins la moitié de mémoire libre en plus pour le cache KV et le runtime ; « juste » charge, mais un contexte long ou un second utilisateur épuise le GPU. Le fine-tuning complet en précision mixte avec l'optimiseur Adam nécessite environ 16 octets par paramètre avant les activations, donc un GPU de 80 Go entraîne complètement environ 5 milliards de paramètres. LoRA et QLoRA entraînent des adaptateurs sur des modèles bien plus grands dans la même mémoire. Pour un modèle donné, hébergement LLM nomme la machine.

Aucun des deux GPU n'a d'encodeur vidéo matériel. Pour le transcodage, le serveur dédié L40S embarque trois moteurs NVENC avec AV1.

Inclus

Ce que vous contrôlez, et comment c'est facturé

La machine et le GPU sont deux lignes mensuelles sur une seule facture. Changez le GPU plus tard dans le même serveur et la facture évolue de la différence entre les deux GPU ; vos disques et adresses IP restent.

Root et console distante

Un système d'exploitation propre, un accès root et le contrôleur hors bande du serveur pour la console, les médias virtuels et l'alimentation.

Pilotes que vous épinglez

Vous installez le pilote NVIDIA, la version CUDA et le build du framework sur lesquels votre code a été testé. Vous voulez le pilote en place à la livraison ? Indiquez la version sur la commande.

Un port non mesuré

Le trafic n'est pas mesuré dans les deux sens, donc récupérer des jeux de données et pousser des points de contrôle n'ajoute rien à la facture. Des ports plus rapides sont sur le formulaire de commande, et bande passante non mesurée les liste.

Mois par mois

Sans engagement et rien à signer. Les machines en rack prises sans modifications sont aussi facturées à l'heure sur serveurs instantanés ; une configuration sur commande est mensuelle.

Livraison

Combien de temps prend un serveur A100 ou H100

Le délai est fixé par l'endroit où se trouve le GPU le jour de votre commande. Vous apprenez lequel des quatre cas s'applique avant de payer, et chaque horloge démarre à l'approbation.

  1. 30 min

    Déjà en rack

    Une machine qui porte le GPU attend dans le rack.

  2. 4–24 h

    Installé ici

    Nous détenons le GPU et l'installons sur la machine que vous avez configurée.

  3. 5–10 jours

    Acheté

    Jours ouvrés, quand le GPU doit d'abord être commandé.

  4. 10–15 jours

    Sur allocation

    Jours ouvrés, quand le GPU est sur allocation et que le fournisseur fixe la date.

Réponses

Questions sur les serveurs GPU H100 et A100

Quelle est la différence entre les NVIDIA A100 et H100 ?

Le H100 est la génération qui suit l’A100. Parmi les GPU PCIe que nous installons, l’A100 dispose de 40 Go de HBM2 à 1 555 Go/s ou de 80 Go de HBM2e à 1 935 Go/s et d’une interface PCIe 4.0. Le H100 possède 80 Go de HBM2e à 2 039 Go/s, des cœurs Tensor de quatrième génération avec FP8 et une interface PCIe 5.0, et il consomme 350 W contre 250 ou 300 W. Tous trois offrent l’ECC, le Multi-Instance GPU et aucun encodeur vidéo.

Combien coûte un serveur dédié H100 ?

Le prix mensuel le plus bas pour un serveur H100 80 Go complet est de $1,682.67. Cette machine est Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, et le GPU représente $1,599 du total. Une configuration avec le GPU installé ajoute des frais d’installation uniques de $29, et le tableau des configurations indique chaque plateforme avec son propre prix.

Combien coûte un serveur A100 ?

Le prix mensuel le plus bas pour un serveur A100 complet est de $772.47 avec le GPU 40 Go et de $972.47 avec le GPU 80 Go, chacun dans la machine la moins chère qui l’accepte. La configuration A100 40 Go est Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. La mémoire, les disques et un port plus rapide sont tarifés sur le formulaire de commande.

Le H100 proposé ici est-il en PCIe ou en SXM5, et dispose-t-il de HBM3 ?

PCIe, et non. Nos châssis accueillent des GPU additionnels PCIe, donc le H100 que nous installons est la carte PCIe 80 Go : HBM2e à 2 039 Go/s, 350 W, une liaison PCIe 5.0 x16. Le HBM3 à 3 350 Go/s et jusqu’à 700 W correspond au module SXM5, qui se fixe sur une carte de base HGX qu’aucun de nos serveurs ne possède. Sur un seul GPU, cela représente environ 1,6 fois la bande passante mémoire, et le tissu NVLink ajouté par le module ne compte qu’au-delà d’un GPU.

Un serveur H100 est-il adapté à l’entraînement de modèles d’IA ?

Oui, pour les modèles qui tiennent dans 80 Go avec la méthode d’entraînement que vous utilisez. Le réglage fin complet en précision mixte avec Adam nécessite environ 16 octets par paramètre avant les activations, donc un H100 entraîne entièrement environ 5 milliards de paramètres, et les adaptateurs LoRA ou QLoRA permettent d’aller vers des modèles bien plus grands. Au-delà, le travail exige plusieurs GPU, ce que couvre la page serveurs multi-GPU.

Puis-je installer deux GPU A100 ou H100 ou plus dans un seul serveur ?

Souvent, et cela fait l’objet d’un devis manuel plutôt que d’une case à cocher lors du paiement : l’espace dans le châssis, les lignes PCIe et l’alimentation déterminent le nombre. Les deux GPU possèdent un connecteur de pont NVLink, mais aucun pont ne figure sur le formulaire de commande, donc les GPU d’un même serveur communiquent via PCIe sauf si un pont est devisé. Demandez dans le chat avant de commander si le travail en nécessite un.

Puis-je louer un serveur A100 ou H100 à l’heure ?

Uniquement une machine déjà en baie, commandée telle quelle, depuis les serveurs instantanés. Cela coûte son prix mensuel divisé par 730 heures, multiplié par 1,3, facturé à la seconde jusqu’à ce que vous la libériez. Une configuration sur commande, comme les lignes de cette page, est facturée au mois.

Combien de temps faut-il pour livrer un serveur A100 ou H100 ?

Environ 30 minutes après validation lorsqu’une machine avec le GPU est déjà en baie, 4 à 24 heures lorsque nous installons un GPU que nous avons en stock, 5 à 10 jours ouvrés lorsque le GPU est acheté, et 10 à 15 lorsqu’il est en allocation. Nous indiquons le cas applicable avant tout prélèvement.

Un A100 ou un H100 peut-il transcoder de la vidéo ?

Pas au niveau matériel. Aucun des deux ne possède d’encodeur NVENC, donc l’encodage s’exécuterait en logiciel sur le GPU ou le processeur. Ils décodent en revanche, avec 5 moteurs NVDEC sur l’A100 et 7 sur le H100. Pour le transcodage en direct, choisissez un GPU avec NVENC, comme le L40S.

Est-ce que je partage le GPU avec quelqu’un ?

Non. Le GPU est transmis directement à votre propre système d’exploitation sans hyperviseur intermédiaire, et la machine n’a qu’un seul locataire. Vous pouvez néanmoins le diviser vous-même avec le Multi-Instance GPU en jusqu’à sept instances pour vos propres travaux.

Qui me répond quand j’ai besoin d’aide ?

L’IA de notre chat répond en quelques secondes et peut consulter votre compte et votre serveur pendant que vous parlez. Dites que vous voulez une personne et l’un de nous prend le relais dans la même conversation.

En clair

Tous les chiffres de cette page

GPUs
NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
A100 40 GB server from
$772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
A100 80 GB server from
$972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
H100 80 GB server from
$1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
Platforms
Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami, Amsterdam
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
Not included
NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules

Choisissez le GPU, puis la machine en dessous

Configurez un serveur A100 ou H100 maintenant, ou indiquez-nous le modèle et la taille de lot dans le chat. Notre IA répond en quelques secondes, et une personne intervient quand vous le demandez.

Configurer un serveur H100