NVIDIA H100 · A100 · PCIe
Servidor dedicado com NVIDIA H100 GPU e servidor dedicado A100 A GPU completa, o seu sistema operativo, o seu root.
Um servidor com GPU H100 aqui é uma máquina física, não uma fração de uma: uma NVIDIA H100 80 GB PCIe ou A100 (40 ou 80 GB) passada diretamente para o sistema operativo que instalar, com root e consola remota, faturada mensalmente. O preço completo mais baixo é $1,682.67 por mês com a H100, e $772.47 com a A100 40 GB.
- Inquilino único
- Passthrough PCIe
- Porta sem medição
- HBM ECC
- Sem contrato
As fichas técnicas omitem quatro coisas, e esta página apresenta-as: quanto custa cada GPU com a máquina que a suporta, se a placa é a versão PCIe ou o módulo SXM5, que ligação PCIe realmente recebe no nosso chassis e qual das três o seu trabalho precisa.
A100 vs H100
Especificações NVIDIA A100 vs H100, para as GPUs PCIe que instalamos
Ambas são GPUs de centro de dados construídas para aritmética matricial, com memória HBM empilhada e ECC. A H100 é a geração seguinte: mais largura de banda de memória, Tensor Cores de quarta geração e FP8 através do Transformer Engine. Todos os valores aqui são para a versão PCIe, a única forma que o nosso chassis aceita.
| Especificação | A100 40 GB | A100 80 GB | H100 80 GB PCIe |
|---|---|---|---|
| Arquitetura | Ampere | Ampere | Hopper |
| Memória da GPU | 40 GB HBM2, ECC | 80 GB HBM2e, ECC | 80 GB HBM2e, ECC |
| Largura de banda da memória | 1.555 GB/s | 1.935 GB/s | 2.039 GB/s |
| Tensor Cores | 3.ª geração | 3.ª geração | 4.ª geração, FP8 com o Transformer Engine |
| Potência da placa | 250 W | 300 W | 350 W |
| Interface da GPU | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| GPU Multi-Instance | Até 7 instâncias | Até 7 instâncias | Até 7 instâncias |
| Motores de vídeo | Sem NVENC, 5 NVDEC | Sem NVENC, 5 NVDEC | Sem NVENC, 7 NVDEC |
| NVLink | Conector de ponte | Conector de ponte | Conector de ponte |
| Saídas de vídeo | Nenhuma | Nenhuma | Nenhuma |
Formato
H100 PCIe vs H100 SXM5, e qual delas esta página vende
A H100 é fornecida em duas formas, e os valores mais citados na web pertencem ao módulo e não à placa. HBM3, 3,35 TB/s e até 700 W são o módulo SXM5: aparafusa-se a uma placa base HGX que faz parte do chassis, pelo que não pode ser instalado num servidor que não tenha sido comprado com uma. Os nossos chassis aceitam placas PCIe, por isso cada H100 nesta página é a placa PCIe de 80 GB.
| H100 80 GB | PCIe, o que instalamos | SXM5 |
|---|---|---|
| Forma | Placa PCIe de dois slots | Módulo numa placa base HGX |
| Memória da GPU | 80 GB HBM2e, ECC | 80 GB HBM3, ECC |
| Largura de banda da memória | 2.039 GB/s | 3.350 GB/s |
| Potência da placa | 350 W | Até 700 W |
| Ligação ao anfitrião | PCIe 5.0 x16 | PCIe 5.0 x16, através da placa base |
| GPU a GPU | Conector de ponte NVLink, 600 GB/s | NVLink com NVSwitch, 900 GB/s |
| Arrefecimento | Ar, numa rack padrão | Ar ou líquido, num chassis HGX |
- Numa única GPU a diferença é a largura de banda da memória: o módulo lê a HBM cerca de 1,6 vezes mais depressa, o que se nota em trabalhos que fazem streaming de pesos ou de um contexto longo a partir da memória e pouco em trabalho limitado pela aritmética. Ambas as placas executam a mesma versão do CUDA, o mesmo ramo de driver e as mesmas compilações de framework.
- O tecido NVLink é a verdadeira razão para comprar o SXM5, e só conta quando um trabalho abrange várias GPUs. Para mais do que uma GPU num chassis, ou mais do que uma máquina, servidores multi-GPU diz o que montamos e como as GPUs comunicam.
- A A100 tem a mesma divisão. O módulo SXM4 também precisa de uma placa base HGX, por isso as A100 40 GB e 80 GB aqui são as placas PCIe, a 1.555 e 1.935 GB/s.
Do catálogo de encomendas
Preços de servidores A100 e H100, com a máquina em que cada uma entra
Cada linha é uma GPU numa plataforma que a aceita. O preço é a fatura mensal completa da máquina mais barata nessa plataforma: processador, memória, discos, uma porta sem medição e um endereço IPv4, mais a GPU. Configurar abre essa plataforma, onde adiciona memória, discos ou uma porta mais rápida.
| GPU | Platform | PCIe link | Cheapest machine | Cities | Per month |
|---|---|---|---|---|---|
| A100 40 GBGPU $699/mo | Intel Xeon E5-2600 v3/v4 | PCIe 3.0 x16GPU is 4.0 | Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $772.47Configure |
| A100 40 GBGPU $699/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $782.67Configure |
| A100 40 GBGPU $699/mo | AMD EPYC | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $916.59Configure |
| A100 80 GBGPU $899/mo | Intel Xeon E5-2600 v3/v4 | PCIe 3.0 x16GPU is 4.0 | Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $972.47Configure |
| A100 80 GBGPU $899/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $982.67Configure |
| A100 80 GBGPU $899/mo | AMD EPYC | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $1,116.59Configure |
| H100 80 GBGPU $1,599/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 5.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $1,682.67Configure |
| H100 80 GBGPU $1,599/mo | AMD EPYC | PCIe 4.0 x16GPU is 5.0 | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $1,816.59Configure |
Uma configuração com GPU instalada paga uma instalação única de $29. Pagar 3, 6 ou 12 meses adiantados reduz a taxa mensal em até 15%, e o preço não sobe na renovação.
Ligação PCIe
Que ligação PCIe a GPU recebe, e quando isso importa
Uma ligação PCIe funciona à velocidade da extremidade mais lenta. A H100 é uma GPU PCIe 5.0 e a A100 uma GPU PCIe 4.0; a tabela de configurações mostra a geração que o slot de cada plataforma lhes dá e assinala onde o slot é a extremidade mais lenta.
- 16 GB/sPCIe 3.0 x16, em cada sentido
- 32 GB/sPCIe 4.0 x16, em cada sentido
- 63 GB/sPCIe 5.0 x16, em cada sentido
- Importa quando os dados atravessam o barramento constantemente: carregar pesos grandes, fazer streaming de lotes de treino a partir da memória do anfitrião, descarregar o estado do otimizador para a CPU ou mover tensores entre duas GPUs sem ponte NVLink.
- Importa pouco quando o trabalho já está na memória da GPU. A HBM lê a 1,5 a 2 TB/s, cerca de 25 a 130 vezes mais depressa do que qualquer um desses slots, por isso um modelo que permanece carregado corre à mesma velocidade em todas as plataformas.
- Se o seu pipeline está limitado pelo barramento, escolha a plataforma com a ligação mais recente na tabela e mantenha o conjunto de dados nos discos do próprio servidor, em vez de o transferir pela rede.
Dimensionamento
A100 ou H100: qual delas o seu trabalho precisa
Comece pela memória. Os pesos, as ativações e, no treino, o estado do otimizador têm de caber na GPU, e um trabalho que não cabe não é salvo por um chip mais rápido.
A100 40 GB
Servidor dedicado A100 para inferência e trabalho em lote
O preço mais baixo para HBM, ECC e GPU Multi-Instance. Certo para servir modelos pequenos e médios, pontuação em lote e código científico que caiba em 40 GB.
A100 80 GB
O dobro da memória, a mesma geração
Cerca de um quarto mais de largura de banda do que a parte de 40 GB. Certo quando o modelo ou o lote não cabe em 40 GB e a aritmética bruta não é o gargalo.
H100 80 GB
Servidor dedicado H100 para treino
Os Tensor Cores de quarta geração e o FP8 aumentam o débito no treino e na inferência de transformadores em relação à A100, sobretudo onde a sua framework usa FP8. Vale o preço quando a GPU está ocupada a maior parte do mês.
Os pesos do modelo cabem?
| Model weights | Precision | A100 40 GB | A100 or H100 80 GB |
|---|---|---|---|
| 7-8 billion parameters | 16-bit | fits16 GB | fits16 GB |
| 8-bit | fits8 GB | fits8 GB | |
| 4-bit | fits5 GB | fits5 GB | |
| 13-14 billion parameters | 16-bit | tight28 GB | fits28 GB |
| 8-bit | fits14 GB | fits14 GB | |
| 4-bit | fits8 GB | fits8 GB | |
| 30-34 billion parameters | 16-bit | no68 GB | no68 GB |
| 8-bit | no34 GB | fits34 GB | |
| 4-bit | fits19 GB | fits19 GB | |
| 70 billion parameters | 16-bit | no140 GB | no140 GB |
| 8-bit | no70 GB | no70 GB | |
| 4-bit | no38 GB | fits38 GB |
Apenas pesos. "Cabe" deixa pelo menos metade desse espaço livre para a cache KV e o runtime; "apertado" carrega, mas um contexto longo ou um segundo utilizador esgota a GPU. O fine-tuning completo em precisão mista com o otimizador Adam precisa de cerca de 16 bytes por parâmetro antes das ativações, por isso uma GPU de 80 GB treina totalmente cerca de 5 mil milhões de parâmetros. LoRA e QLoRA treinam adaptadores em modelos muito maiores na mesma memória. Para um dado modelo, alojamento de LLM indica a máquina.
Nenhuma das GPUs tem codificador de vídeo por hardware. Para transcodificação, o servidor dedicado L40S inclui três motores NVENC com AV1.
Incluído
O que controla, e como é faturado
A máquina e a GPU são duas linhas mensais numa fatura. Troque a GPU mais tarde no mesmo servidor e a fatura muda pela diferença entre as duas GPUs; os seus discos e endereços IP permanecem.
Root e consola remota
Um sistema operativo limpo, acesso root e o controlador out-of-band do servidor para consola, media virtual e energia.
Drivers que escolhe
Instala o driver NVIDIA, a versão do CUDA e a compilação da framework em que o seu código foi testado. Quer o driver instalado na entrega? Indique a versão na encomenda.
Uma porta sem medição
O tráfego não é medido em nenhum sentido, por isso puxar conjuntos de dados e enviar checkpoints não acrescenta nada à fatura. Portas mais rápidas estão no formulário de encomenda, e largura de banda sem medição lista-as.
Mês a mês
Sem contrato e sem nada para assinar. Máquinas em rack aceites sem alterações também são faturadas à hora em servidores instantâneos; uma configuração por encomenda é mensal.
Entrega
Quanto tempo demora um servidor A100 ou H100
O prazo é definido pelo local onde a GPU se encontra no dia em que encomenda. Fica a saber qual dos quatro casos se aplica antes de pagar, e cada relógio começa na aprovação.
- 30 min
Já em rack
Uma máquina que transporta a GPU está à espera na rack.
- 4–24 h
Instalada aqui
Temos a GPU e instalamo-la na máquina que configurou.
- 5–10 dias
Comprada
Dias úteis, quando a GPU tem de ser encomendada primeiro.
- 10–15 dias
Em alocação
Dias úteis, quando a GPU está em alocação e o fornecedor define a data.
Mercado de GPUs
Máquinas A100 e H100 listadas pelos seus proprietários
Os proprietários também listam as suas próprias máquinas A100 e H100 no nosso mercado, cada uma com o seu preço mensal. As listagens da nossa empresa irmã, Primcast, aparecem aqui também e são alugadas lá.
Respostas
Perguntas sobre servidores GPU H100 e A100
Qual é a diferença entre a NVIDIA A100 e a H100?
A H100 é a geração seguinte à A100. Entre as GPUs PCIe que instalamos, a A100 tem 40 GB de HBM2 a 1.555 GB/s ou 80 GB de HBM2e a 1.935 GB/s e uma interface PCIe 4.0. A H100 tem 80 GB de HBM2e a 2.039 GB/s, Tensor Cores de quarta geração com FP8 e uma interface PCIe 5.0, e consome 350 W contra 250 ou 300 W. As três têm ECC, Multi-Instance GPU e nenhum codificador de vídeo.
Quanto custa um servidor dedicado H100?
O preço mensal mais baixo para um servidor H100 80 GB completo é $1,682.67. Essa máquina é Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, e a GPU é $1,599 do total. Uma configuração com a GPU instalada acrescenta uma taxa de setup única de $29, e a tabela de configurações lista cada plataforma com seu próprio preço.
Quanto custa um servidor A100?
O preço mensal mais baixo para um servidor A100 completo é $772.47 com a GPU de 40 GB e $972.47 com a GPU de 80 GB, cada uma na máquina mais barata que a comporta. A configuração A100 40 GB é Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Memória, discos e uma porta mais rápida são precificados no formulário de pedido.
A H100 aqui é PCIe ou SXM5, e tem HBM3?
PCIe, e não. Nossos chassis aceitam GPUs add-in PCIe, então a H100 que instalamos é a placa PCIe de 80 GB: HBM2e a 2.039 GB/s, 350 W, link PCIe 5.0 x16. HBM3 a 3.350 GB/s e até 700 W são o módulo SXM5, que se fixa a uma baseboard HGX que nenhum dos nossos servidores possui. Em uma GPU isso é cerca de 1,6 vezes a largura de banda de memória, e o tecido NVLink que o módulo adiciona só conta acima de uma GPU.
Um servidor H100 é bom para treinar modelos de IA?
Sim, para modelos que cabem em 80 GB com o método de treinamento que você usa. O fine-tuning completo em precisão mista com Adam precisa de cerca de 16 bytes por parâmetro antes das ativações, então uma H100 treina totalmente cerca de 5 bilhões de parâmetros, e adaptadores LoRA ou QLoRA estendem isso para modelos muito maiores. Além disso, o trabalho exige várias GPUs, o que servidores multi-GPU cobre.
Posso colocar duas ou mais GPUs A100 ou H100 em um servidor?
Frequentemente, e isso é cotado manualmente em vez de marcado no checkout: folga no chassis, pistas PCIe e a fonte de alimentação definem a contagem. Ambas as GPUs têm um conector de ponte NVLink, mas nenhuma ponte está no formulário de pedido, então GPUs em um servidor se comunicam por PCIe a menos que uma ponte seja cotada. Pergunte no chat antes de pedir se o trabalho precisar de uma.
Posso alugar um servidor A100 ou H100 por hora?
Apenas uma máquina já em rack, pedida como está, em servidores instantâneos. Custa seu preço mensal dividido por 730 horas, vezes 1,3, medido por segundo até você liberá-la. Uma configuração sob encomenda, como as linhas desta página, é cobrada por mês.
Quanto tempo um servidor A100 ou H100 leva para ser entregue?
Cerca de 30 minutos após a aprovação quando uma máquina com a GPU já está em rack, 4 a 24 horas quando instalamos uma GPU que temos em estoque, 5 a 10 dias úteis quando a GPU é comprada, e 10 a 15 quando está sob alocação. Dizemos qual se aplica antes de qualquer pagamento ser feito.
Uma A100 ou H100 pode transcodificar vídeo?
Não em hardware. Nenhuma tem codificador NVENC, então a codificação rodaria em software na GPU ou no processador. Elas decodificam, com 5 motores NVDEC na A100 e 7 na H100. Para transcodificação ao vivo, escolha uma GPU com NVENC, como a L40S.
Eu compartilho a GPU com alguém?
Não. A GPU é passada diretamente para o seu próprio sistema operacional sem nenhum hypervisor no meio, e a máquina tem um único locatário. Você ainda pode dividi-la com Multi-Instance GPU em até sete instâncias para seus próprios trabalhos.
Quem responde quando preciso de ajuda?
A IA do nosso chat responde em segundos e pode consultar sua conta e seu servidor enquanto você fala. Diga que quer uma pessoa e um de nós assume a mesma conversa.
Em texto simples
Cada número desta página
- GPUs
- NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
- A100 40 GB server from
- $772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
- A100 80 GB server from
- $972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
- H100 80 GB server from
- $1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
- Platforms
- Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
- Cities
- New York, Bucharest, San Francisco, Miami, Amsterdam
- Setup
- $29 once for a build with a GPU fitted
- Term
- Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
- Traffic
- Unmetered port, no egress charge
- GPU access
- PCIe passthrough to your own OS, root, no hypervisor
- Delivery
- About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
- Not included
- NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules
Em outros lugares
Outras perguntas sobre GPU
Escolha a GPU e depois a máquina sob ela
Configure um servidor A100 ou H100 agora, ou diga-nos o modelo e o tamanho do lote no chat. Nossa IA responde em segundos, e uma pessoa entra quando você pedir.