NVIDIA H100 · A100 · PCIe

Servidor dedicado com NVIDIA H100 GPU e servidor dedicado A100 A GPU completa, o seu sistema operativo, o seu root.

Um servidor com GPU H100 aqui é uma máquina física, não uma fração de uma: uma NVIDIA H100 80 GB PCIe ou A100 (40 ou 80 GB) passada diretamente para o sistema operativo que instalar, com root e consola remota, faturada mensalmente. O preço completo mais baixo é $1,682.67 por mês com a H100, e $772.47 com a A100 40 GB.

  • Inquilino único
  • Passthrough PCIe
  • Porta sem medição
  • HBM ECC
  • Sem contrato

As fichas técnicas omitem quatro coisas, e esta página apresenta-as: quanto custa cada GPU com a máquina que a suporta, se a placa é a versão PCIe ou o módulo SXM5, que ligação PCIe realmente recebe no nosso chassis e qual das três o seu trabalho precisa.

A100 vs H100

Especificações NVIDIA A100 vs H100, para as GPUs PCIe que instalamos

Ambas são GPUs de centro de dados construídas para aritmética matricial, com memória HBM empilhada e ECC. A H100 é a geração seguinte: mais largura de banda de memória, Tensor Cores de quarta geração e FP8 através do Transformer Engine. Todos os valores aqui são para a versão PCIe, a única forma que o nosso chassis aceita.

EspecificaçãoA100 40 GBA100 80 GBH100 80 GB PCIe
ArquiteturaAmpereAmpereHopper
Memória da GPU40 GB HBM2, ECC80 GB HBM2e, ECC80 GB HBM2e, ECC
Largura de banda da memória1.555 GB/s1.935 GB/s2.039 GB/s
Tensor Cores3.ª geração3.ª geração4.ª geração, FP8 com o Transformer Engine
Potência da placa250 W300 W350 W
Interface da GPUPCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
GPU Multi-InstanceAté 7 instânciasAté 7 instânciasAté 7 instâncias
Motores de vídeoSem NVENC, 5 NVDECSem NVENC, 5 NVDECSem NVENC, 7 NVDEC
NVLinkConector de ponteConector de ponteConector de ponte
Saídas de vídeoNenhumaNenhumaNenhuma
Fontes: ficha técnica da NVIDIA A100, resumo do produto NVIDIA H100 PCIe, matriz de suporte de codificação e descodificação de vídeo NVIDIA.

Formato

H100 PCIe vs H100 SXM5, e qual delas esta página vende

A H100 é fornecida em duas formas, e os valores mais citados na web pertencem ao módulo e não à placa. HBM3, 3,35 TB/s e até 700 W são o módulo SXM5: aparafusa-se a uma placa base HGX que faz parte do chassis, pelo que não pode ser instalado num servidor que não tenha sido comprado com uma. Os nossos chassis aceitam placas PCIe, por isso cada H100 nesta página é a placa PCIe de 80 GB.

H100 80 GBPCIe, o que instalamosSXM5
FormaPlaca PCIe de dois slotsMódulo numa placa base HGX
Memória da GPU80 GB HBM2e, ECC80 GB HBM3, ECC
Largura de banda da memória2.039 GB/s3.350 GB/s
Potência da placa350 WAté 700 W
Ligação ao anfitriãoPCIe 5.0 x16PCIe 5.0 x16, através da placa base
GPU a GPUConector de ponte NVLink, 600 GB/sNVLink com NVSwitch, 900 GB/s
ArrefecimentoAr, numa rack padrãoAr ou líquido, num chassis HGX
Fontes: resumo do produto NVIDIA H100 PCIe, ficha técnica da NVIDIA H100 Tensor Core GPU, documentação da plataforma NVIDIA HGX.
  • Numa única GPU a diferença é a largura de banda da memória: o módulo lê a HBM cerca de 1,6 vezes mais depressa, o que se nota em trabalhos que fazem streaming de pesos ou de um contexto longo a partir da memória e pouco em trabalho limitado pela aritmética. Ambas as placas executam a mesma versão do CUDA, o mesmo ramo de driver e as mesmas compilações de framework.
  • O tecido NVLink é a verdadeira razão para comprar o SXM5, e só conta quando um trabalho abrange várias GPUs. Para mais do que uma GPU num chassis, ou mais do que uma máquina, servidores multi-GPU diz o que montamos e como as GPUs comunicam.
  • A A100 tem a mesma divisão. O módulo SXM4 também precisa de uma placa base HGX, por isso as A100 40 GB e 80 GB aqui são as placas PCIe, a 1.555 e 1.935 GB/s.

Do catálogo de encomendas

Preços de servidores A100 e H100, com a máquina em que cada uma entra

Cada linha é uma GPU numa plataforma que a aceita. O preço é a fatura mensal completa da máquina mais barata nessa plataforma: processador, memória, discos, uma porta sem medição e um endereço IPv4, mais a GPU. Configurar abre essa plataforma, onde adiciona memória, discos ou uma porta mais rápida.

GPUPlatformPCIe linkCheapest machineCitiesPer month
A100 40 GBGPU $699/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$772.47Configure
A100 40 GBGPU $699/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$782.67Configure
A100 40 GBGPU $699/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$916.59Configure
A100 80 GBGPU $899/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$972.47Configure
A100 80 GBGPU $899/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$982.67Configure
A100 80 GBGPU $899/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,116.59Configure
H100 80 GBGPU $1,599/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$1,682.67Configure
H100 80 GBGPU $1,599/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,816.59Configure

Uma configuração com GPU instalada paga uma instalação única de $29. Pagar 3, 6 ou 12 meses adiantados reduz a taxa mensal em até 15%, e o preço não sobe na renovação.

Ligação PCIe

Que ligação PCIe a GPU recebe, e quando isso importa

Uma ligação PCIe funciona à velocidade da extremidade mais lenta. A H100 é uma GPU PCIe 5.0 e a A100 uma GPU PCIe 4.0; a tabela de configurações mostra a geração que o slot de cada plataforma lhes dá e assinala onde o slot é a extremidade mais lenta.

  • 16 GB/sPCIe 3.0 x16, em cada sentido
  • 32 GB/sPCIe 4.0 x16, em cada sentido
  • 63 GB/sPCIe 5.0 x16, em cada sentido
  • Importa quando os dados atravessam o barramento constantemente: carregar pesos grandes, fazer streaming de lotes de treino a partir da memória do anfitrião, descarregar o estado do otimizador para a CPU ou mover tensores entre duas GPUs sem ponte NVLink.
  • Importa pouco quando o trabalho já está na memória da GPU. A HBM lê a 1,5 a 2 TB/s, cerca de 25 a 130 vezes mais depressa do que qualquer um desses slots, por isso um modelo que permanece carregado corre à mesma velocidade em todas as plataformas.
  • Se o seu pipeline está limitado pelo barramento, escolha a plataforma com a ligação mais recente na tabela e mantenha o conjunto de dados nos discos do próprio servidor, em vez de o transferir pela rede.

Dimensionamento

A100 ou H100: qual delas o seu trabalho precisa

Comece pela memória. Os pesos, as ativações e, no treino, o estado do otimizador têm de caber na GPU, e um trabalho que não cabe não é salvo por um chip mais rápido.

A100 40 GB

Servidor dedicado A100 para inferência e trabalho em lote

O preço mais baixo para HBM, ECC e GPU Multi-Instance. Certo para servir modelos pequenos e médios, pontuação em lote e código científico que caiba em 40 GB.

A100 80 GB

O dobro da memória, a mesma geração

Cerca de um quarto mais de largura de banda do que a parte de 40 GB. Certo quando o modelo ou o lote não cabe em 40 GB e a aritmética bruta não é o gargalo.

H100 80 GB

Servidor dedicado H100 para treino

Os Tensor Cores de quarta geração e o FP8 aumentam o débito no treino e na inferência de transformadores em relação à A100, sobretudo onde a sua framework usa FP8. Vale o preço quando a GPU está ocupada a maior parte do mês.

Os pesos do modelo cabem?

Model weightsPrecisionA100 40 GBA100 or H100 80 GB
7-8 billion parameters16-bitfits16 GBfits16 GB
8-bitfits8 GBfits8 GB
4-bitfits5 GBfits5 GB
13-14 billion parameters16-bittight28 GBfits28 GB
8-bitfits14 GBfits14 GB
4-bitfits8 GBfits8 GB
30-34 billion parameters16-bitno68 GBno68 GB
8-bitno34 GBfits34 GB
4-bitfits19 GBfits19 GB
70 billion parameters16-bitno140 GBno140 GB
8-bitno70 GBno70 GB
4-bitno38 GBfits38 GB

Apenas pesos. "Cabe" deixa pelo menos metade desse espaço livre para a cache KV e o runtime; "apertado" carrega, mas um contexto longo ou um segundo utilizador esgota a GPU. O fine-tuning completo em precisão mista com o otimizador Adam precisa de cerca de 16 bytes por parâmetro antes das ativações, por isso uma GPU de 80 GB treina totalmente cerca de 5 mil milhões de parâmetros. LoRA e QLoRA treinam adaptadores em modelos muito maiores na mesma memória. Para um dado modelo, alojamento de LLM indica a máquina.

Nenhuma das GPUs tem codificador de vídeo por hardware. Para transcodificação, o servidor dedicado L40S inclui três motores NVENC com AV1.

Incluído

O que controla, e como é faturado

A máquina e a GPU são duas linhas mensais numa fatura. Troque a GPU mais tarde no mesmo servidor e a fatura muda pela diferença entre as duas GPUs; os seus discos e endereços IP permanecem.

Root e consola remota

Um sistema operativo limpo, acesso root e o controlador out-of-band do servidor para consola, media virtual e energia.

Drivers que escolhe

Instala o driver NVIDIA, a versão do CUDA e a compilação da framework em que o seu código foi testado. Quer o driver instalado na entrega? Indique a versão na encomenda.

Uma porta sem medição

O tráfego não é medido em nenhum sentido, por isso puxar conjuntos de dados e enviar checkpoints não acrescenta nada à fatura. Portas mais rápidas estão no formulário de encomenda, e largura de banda sem medição lista-as.

Mês a mês

Sem contrato e sem nada para assinar. Máquinas em rack aceites sem alterações também são faturadas à hora em servidores instantâneos; uma configuração por encomenda é mensal.

Entrega

Quanto tempo demora um servidor A100 ou H100

O prazo é definido pelo local onde a GPU se encontra no dia em que encomenda. Fica a saber qual dos quatro casos se aplica antes de pagar, e cada relógio começa na aprovação.

  1. 30 min

    Já em rack

    Uma máquina que transporta a GPU está à espera na rack.

  2. 4–24 h

    Instalada aqui

    Temos a GPU e instalamo-la na máquina que configurou.

  3. 5–10 dias

    Comprada

    Dias úteis, quando a GPU tem de ser encomendada primeiro.

  4. 10–15 dias

    Em alocação

    Dias úteis, quando a GPU está em alocação e o fornecedor define a data.

Respostas

Perguntas sobre servidores GPU H100 e A100

Qual é a diferença entre a NVIDIA A100 e a H100?

A H100 é a geração seguinte à A100. Entre as GPUs PCIe que instalamos, a A100 tem 40 GB de HBM2 a 1.555 GB/s ou 80 GB de HBM2e a 1.935 GB/s e uma interface PCIe 4.0. A H100 tem 80 GB de HBM2e a 2.039 GB/s, Tensor Cores de quarta geração com FP8 e uma interface PCIe 5.0, e consome 350 W contra 250 ou 300 W. As três têm ECC, Multi-Instance GPU e nenhum codificador de vídeo.

Quanto custa um servidor dedicado H100?

O preço mensal mais baixo para um servidor H100 80 GB completo é $1,682.67. Essa máquina é Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, e a GPU é $1,599 do total. Uma configuração com a GPU instalada acrescenta uma taxa de setup única de $29, e a tabela de configurações lista cada plataforma com seu próprio preço.

Quanto custa um servidor A100?

O preço mensal mais baixo para um servidor A100 completo é $772.47 com a GPU de 40 GB e $972.47 com a GPU de 80 GB, cada uma na máquina mais barata que a comporta. A configuração A100 40 GB é Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Memória, discos e uma porta mais rápida são precificados no formulário de pedido.

A H100 aqui é PCIe ou SXM5, e tem HBM3?

PCIe, e não. Nossos chassis aceitam GPUs add-in PCIe, então a H100 que instalamos é a placa PCIe de 80 GB: HBM2e a 2.039 GB/s, 350 W, link PCIe 5.0 x16. HBM3 a 3.350 GB/s e até 700 W são o módulo SXM5, que se fixa a uma baseboard HGX que nenhum dos nossos servidores possui. Em uma GPU isso é cerca de 1,6 vezes a largura de banda de memória, e o tecido NVLink que o módulo adiciona só conta acima de uma GPU.

Um servidor H100 é bom para treinar modelos de IA?

Sim, para modelos que cabem em 80 GB com o método de treinamento que você usa. O fine-tuning completo em precisão mista com Adam precisa de cerca de 16 bytes por parâmetro antes das ativações, então uma H100 treina totalmente cerca de 5 bilhões de parâmetros, e adaptadores LoRA ou QLoRA estendem isso para modelos muito maiores. Além disso, o trabalho exige várias GPUs, o que servidores multi-GPU cobre.

Posso colocar duas ou mais GPUs A100 ou H100 em um servidor?

Frequentemente, e isso é cotado manualmente em vez de marcado no checkout: folga no chassis, pistas PCIe e a fonte de alimentação definem a contagem. Ambas as GPUs têm um conector de ponte NVLink, mas nenhuma ponte está no formulário de pedido, então GPUs em um servidor se comunicam por PCIe a menos que uma ponte seja cotada. Pergunte no chat antes de pedir se o trabalho precisar de uma.

Posso alugar um servidor A100 ou H100 por hora?

Apenas uma máquina já em rack, pedida como está, em servidores instantâneos. Custa seu preço mensal dividido por 730 horas, vezes 1,3, medido por segundo até você liberá-la. Uma configuração sob encomenda, como as linhas desta página, é cobrada por mês.

Quanto tempo um servidor A100 ou H100 leva para ser entregue?

Cerca de 30 minutos após a aprovação quando uma máquina com a GPU já está em rack, 4 a 24 horas quando instalamos uma GPU que temos em estoque, 5 a 10 dias úteis quando a GPU é comprada, e 10 a 15 quando está sob alocação. Dizemos qual se aplica antes de qualquer pagamento ser feito.

Uma A100 ou H100 pode transcodificar vídeo?

Não em hardware. Nenhuma tem codificador NVENC, então a codificação rodaria em software na GPU ou no processador. Elas decodificam, com 5 motores NVDEC na A100 e 7 na H100. Para transcodificação ao vivo, escolha uma GPU com NVENC, como a L40S.

Eu compartilho a GPU com alguém?

Não. A GPU é passada diretamente para o seu próprio sistema operacional sem nenhum hypervisor no meio, e a máquina tem um único locatário. Você ainda pode dividi-la com Multi-Instance GPU em até sete instâncias para seus próprios trabalhos.

Quem responde quando preciso de ajuda?

A IA do nosso chat responde em segundos e pode consultar sua conta e seu servidor enquanto você fala. Diga que quer uma pessoa e um de nós assume a mesma conversa.

Em texto simples

Cada número desta página

GPUs
NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
A100 40 GB server from
$772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
A100 80 GB server from
$972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
H100 80 GB server from
$1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
Platforms
Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami, Amsterdam
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
Not included
NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules

Escolha a GPU e depois a máquina sob ela

Configure um servidor A100 ou H100 agora, ou diga-nos o modelo e o tamanho do lote no chat. Nossa IA responde em segundos, e uma pessoa entra quando você pedir.