NVIDIA H100 · A100 · PCIe
Servidor GPU NVIDIA H100 y servidor dedicado A100 La GPU completa, tu sistema operativo, tu root.
Un servidor GPU H100 aquí es una máquina física, no una fracción de una: una NVIDIA H100 80 GB PCIe o A100 (40 u 80 GB) pasada directamente al sistema operativo que instales, con root y consola remota, facturada por mes. El precio completo más bajo es $1,682.67 al mes con la H100, y $772.47 con la A100 40 GB.
- Inquilino único
- Passthrough PCIe
- Puerto sin medición
- HBM ECC
- Sin permanencia
Las fichas técnicas omiten cuatro cosas, y esta página las aclara: cuánto cuesta cada GPU con la máquina que la aloja, si la tarjeta es la versión PCIe o el módulo SXM5, qué enlace PCIe recibe realmente en nuestro chasis y cuál de las tres necesita tu carga de trabajo.
A100 vs H100
Especificaciones de NVIDIA A100 vs H100, para las GPU PCIe que instalamos
Ambas son GPU de centro de datos diseñadas para aritmética matricial, con memoria HBM apilada y ECC. La H100 es la siguiente generación: más ancho de banda de memoria, Tensor Cores de cuarta generación y FP8 mediante el Transformer Engine. Todas las cifras aquí corresponden a la versión PCIe, la única que admiten nuestros chasis.
| Especificación | A100 40 GB | A100 80 GB | H100 80 GB PCIe |
|---|---|---|---|
| Arquitectura | Ampere | Ampere | Hopper |
| Memoria GPU | 40 GB HBM2, ECC | 80 GB HBM2e, ECC | 80 GB HBM2e, ECC |
| Ancho de banda de memoria | 1.555 GB/s | 1.935 GB/s | 2.039 GB/s |
| Tensor Cores | 3.ª generación | 3.ª generación | 4.ª generación, FP8 con el Transformer Engine |
| Potencia de la placa | 250 W | 300 W | 350 W |
| Interfaz GPU | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| GPU multiinstancia | Hasta 7 instancias | Hasta 7 instancias | Hasta 7 instancias |
| Motores de vídeo | Sin NVENC, 5 NVDEC | Sin NVENC, 5 NVDEC | Sin NVENC, 7 NVDEC |
| NVLink | Conector puente | Conector puente | Conector puente |
| Salidas de pantalla | Ninguna | Ninguna | Ninguna |
Factor de forma
H100 PCIe vs H100 SXM5, y cuál vende esta página
La H100 se comercializa en dos formatos, y las cifras que más se citan en la web pertenecen al módulo y no a la tarjeta. HBM3, 3,35 TB/s y hasta 700 W son del módulo SXM5: se atornilla a una placa base HGX que forma parte del chasis, por lo que no puede instalarse en un servidor que no se compró con una. Nuestros chasis admiten tarjetas adicionales PCIe, así que cada H100 de esta página es la tarjeta PCIe de 80 GB.
| H100 80 GB | PCIe, lo que instalamos | SXM5 |
|---|---|---|
| Formato | Tarjeta adicional PCIe de doble ranura | Módulo en placa base HGX |
| Memoria GPU | 80 GB HBM2e, ECC | 80 GB HBM3, ECC |
| Ancho de banda de memoria | 2.039 GB/s | 3.350 GB/s |
| Potencia de la placa | 350 W | Hasta 700 W |
| Enlace con el host | PCIe 5.0 x16 | PCIe 5.0 x16, a través de la placa base |
| GPU a GPU | Conector puente NVLink, 600 GB/s | NVLink con NVSwitch, 900 GB/s |
| Refrigeración | Por aire, en un rack estándar | Por aire o líquida, en un chasis HGX |
- Con una GPU, la diferencia es el ancho de banda de memoria: el módulo lee HBM unas 1,6 veces más rápido, lo que se nota en trabajos que transmiten pesos o un contexto largo desde memoria y apenas en cargas limitadas por aritmética. Ambas tarjetas ejecutan la misma versión de CUDA, la misma rama de controlador y las mismas compilaciones de framework.
- El tejido NVLink es el verdadero motivo para comprar SXM5, y solo importa cuando un trabajo abarca varias GPU. Para más de una GPU en un chasis, o más de una máquina, servidores multi-GPU explica qué montamos y cómo se comunican las GPU.
- La A100 tiene la misma división. El módulo SXM4 también necesita una placa base HGX, así que las A100 40 GB y 80 GB de aquí son las tarjetas PCIe, a 1.555 y 1.935 GB/s.
Del catálogo de pedidos
Precios de servidores A100 y H100, con la máquina en la que va cada una
Cada fila es una GPU en una plataforma que la admite. El precio es la factura mensual completa de la máquina más barata de esa plataforma: procesador, memoria, discos, un puerto sin medición y una dirección IPv4, más la GPU. Configurar abre esa plataforma, donde añades memoria, discos o un puerto más rápido.
| GPU | Platform | PCIe link | Cheapest machine | Cities | Per month |
|---|---|---|---|---|---|
| A100 40 GBGPU $699/mo | Intel Xeon E5-2600 v3/v4 | PCIe 3.0 x16GPU is 4.0 | Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $772.47Configure |
| A100 40 GBGPU $699/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $782.67Configure |
| A100 40 GBGPU $699/mo | AMD EPYC | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $916.59Configure |
| A100 80 GBGPU $899/mo | Intel Xeon E5-2600 v3/v4 | PCIe 3.0 x16GPU is 4.0 | Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $972.47Configure |
| A100 80 GBGPU $899/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $982.67Configure |
| A100 80 GBGPU $899/mo | AMD EPYC | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $1,116.59Configure |
| H100 80 GBGPU $1,599/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 5.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $1,682.67Configure |
| H100 80 GBGPU $1,599/mo | AMD EPYC | PCIe 4.0 x16GPU is 5.0 | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $1,816.59Configure |
Una configuración con GPU instalada paga una cuota única de $29. Pagar 3, 6 o 12 meses por adelantado reduce la tarifa mensual hasta un 15%, y el precio no sube al renovar.
Enlace PCIe
Qué enlace PCIe recibe la GPU y cuándo importa
Un enlace PCIe funciona a la velocidad de su extremo más lento. La H100 es una GPU PCIe 5.0 y la A100 una GPU PCIe 4.0; la tabla de configuraciones muestra la generación que la ranura de cada plataforma les ofrece y marca dónde la ranura es el extremo más lento.
- 16 GB/sPCIe 3.0 x16, en cada sentido
- 32 GB/sPCIe 4.0 x16, en cada sentido
- 63 GB/sPCIe 5.0 x16, en cada sentido
- Importa cuando los datos cruzan el bus constantemente: cargar pesos grandes, transmitir lotes de entrenamiento desde la memoria del host, descargar el estado del optimizador a la CPU o mover tensores entre dos GPU sin puente NVLink.
- Importa poco una vez que el trabajo reside en la memoria de la GPU. HBM lee a 1,5–2 TB/s, entre 25 y 130 veces más rápido que cualquiera de esas ranuras, así que un modelo que permanece cargado corre a la misma velocidad en todas las plataformas.
- Si tu pipeline está limitado por el bus, elige la plataforma con el enlace más nuevo de la tabla y mantén el conjunto de datos en los discos del propio servidor en lugar de a través de la red.
Dimensionamiento
A100 o H100: cuál necesita tu carga de trabajo
Empieza por la memoria. Los pesos, las activaciones y, en entrenamiento, el estado del optimizador deben caber en la GPU, y un trabajo que no cabe no lo salva un chip más rápido.
A100 40 GB
Servidor dedicado A100 para inferencia y trabajo por lotes
El precio más bajo para HBM, ECC y GPU multiinstancia. Adecuado para servir modelos pequeños y medianos, puntuación por lotes y código científico que quepa en 40 GB.
A100 80 GB
El doble de memoria, la misma generación
Aproximadamente un cuarto más de ancho de banda que la versión de 40 GB. Adecuada cuando el modelo o el lote no cabe en 40 GB y la aritmética pura no es el cuello de botella.
H100 80 GB
Servidor dedicado H100 para entrenamiento
Los Tensor Cores de cuarta generación y FP8 aumentan el rendimiento en entrenamiento e inferencia de transformadores frente a la A100, sobre todo donde tu framework usa FP8. Vale su precio cuando la GPU está ocupada la mayor parte del mes.
¿Caben los pesos del modelo?
| Model weights | Precision | A100 40 GB | A100 or H100 80 GB |
|---|---|---|---|
| 7-8 billion parameters | 16-bit | fits16 GB | fits16 GB |
| 8-bit | fits8 GB | fits8 GB | |
| 4-bit | fits5 GB | fits5 GB | |
| 13-14 billion parameters | 16-bit | tight28 GB | fits28 GB |
| 8-bit | fits14 GB | fits14 GB | |
| 4-bit | fits8 GB | fits8 GB | |
| 30-34 billion parameters | 16-bit | no68 GB | no68 GB |
| 8-bit | no34 GB | fits34 GB | |
| 4-bit | fits19 GB | fits19 GB | |
| 70 billion parameters | 16-bit | no140 GB | no140 GB |
| 8-bit | no70 GB | no70 GB | |
| 4-bit | no38 GB | fits38 GB |
Solo pesos. «Cabe» deja al menos la mitad de espacio libre adicional para la caché KV y el runtime; «justo» carga, pero un contexto largo o un segundo usuario agota la GPU. El ajuste fino completo en precisión mixta con el optimizador Adam necesita unos 16 bytes por parámetro antes de las activaciones, así que una GPU de 80 GB entrena por completo unos 5 mil millones de parámetros. LoRA y QLoRA entrenan adaptadores en modelos mucho mayores con la misma memoria. Para un modelo concreto, alojamiento de LLM indica la máquina.
Ninguna de las dos GPU tiene codificador de vídeo por hardware. Para transcodificación, el servidor dedicado L40S incorpora tres motores NVENC con AV1.
Incluido
Qué controlas y cómo se factura
La máquina y la GPU son dos líneas mensuales en una misma factura. Si cambias la GPU más adelante en el mismo servidor, la factura se ajusta por la diferencia entre las dos GPU; tus discos y direcciones IP se mantienen.
Root y consola remota
Un sistema operativo limpio, acceso root y el controlador fuera de banda del servidor para consola, medios virtuales y alimentación.
Controladores que tú fijas
Instalas el controlador NVIDIA, la versión de CUDA y la compilación del framework con la que se probó tu código. ¿Quieres el controlador instalado en la entrega? Indica la versión en el pedido.
Un puerto sin medición
El tráfico no se mide en ningún sentido, así que descargar conjuntos de datos y subir checkpoints no añade nada a la factura. Los puertos más rápidos están en el formulario de pedido, y ancho de banda sin medición los enumera.
Mes a mes
Sin permanencia y sin nada que firmar. Las máquinas ya montadas en rack que se toman sin cambios también se facturan por horas en servidores instantáneos; una configuración a medida es mensual.
Entrega
Cuánto tarda un servidor A100 o H100
El plazo lo determina dónde está la GPU el día que haces el pedido. Sabrás cuál de los cuatro casos aplica antes de pagar, y cada reloj empieza en la aprobación.
- 30 min
Ya en rack
Una máquina que lleva la GPU espera en el rack.
- 4–24 h
Instalada aquí
Tenemos la GPU y la instalamos en la máquina que configuraste.
- 5–10 días
Comprada
Días laborables, cuando primero hay que pedir la GPU.
- 10–15 días
En asignación
Días laborables, cuando la GPU está en asignación y el proveedor fija la fecha.
Mercado de GPU
Máquinas A100 y H100 anunciadas por sus propietarios
Los propietarios también anuncian sus propias máquinas A100 y H100 en nuestro mercado, cada una con su precio mensual. Los anuncios de nuestra empresa hermana, Primcast, aparecen aquí también y se alquilan allí.
Respuestas
Preguntas sobre los servidores GPU H100 y A100
¿Cuál es la diferencia entre la NVIDIA A100 y la H100?
La H100 es la generación posterior a la A100. En las GPU PCIe que instalamos, la A100 tiene 40 GB de HBM2 a 1.555 GB/s u 80 GB de HBM2e a 1.935 GB/s y una interfaz PCIe 4.0. La H100 tiene 80 GB de HBM2e a 2.039 GB/s, núcleos Tensor de cuarta generación con FP8 y una interfaz PCIe 5.0, y consume 350 W frente a 250 o 300 W. Las tres tienen ECC, GPU de instancias múltiples y sin codificador de vídeo.
¿Cuánto cuesta un servidor dedicado H100?
El precio mensual más bajo de un servidor H100 completo de 80 GB es $1,682.67. Esa máquina es Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, y la GPU es $1,599 del total. Una configuración con la GPU instalada añade una tarifa única de instalación de $29, y la tabla de configuraciones muestra cada plataforma con su propio precio.
¿Cuánto cuesta un servidor A100?
El precio mensual más bajo de un servidor A100 completo es $772.47 con la GPU de 40 GB y $972.47 con la GPU de 80 GB, cada una en la máquina más económica que la admite. La configuración A100 de 40 GB es Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. La memoria, los discos y un puerto más rápido se cotizan en el formulario de pedido.
¿La H100 aquí es PCIe o SXM5, y tiene HBM3?
PCIe, y no. Nuestros chasis aceptan GPU PCIe adicionales, así que la H100 que instalamos es la tarjeta PCIe de 80 GB: HBM2e a 2.039 GB/s, 350 W, un enlace PCIe 5.0 x16. HBM3 a 3.350 GB/s y hasta 700 W son del módulo SXM5, que se atornilla a una placa base HGX que ninguno de nuestros servidores lleva. En una GPU eso es aproximadamente 1,6 veces el ancho de banda de memoria, y la red NVLink que añade el módulo solo cuenta por encima de una GPU.
¿Un servidor H100 es bueno para entrenar modelos de IA?
Sí, para modelos que caben en 80 GB con el método de entrenamiento que uses. El ajuste fino completo en precisión mixta con Adam necesita unos 16 bytes por parámetro antes de las activaciones, así que una H100 entrena por completo unos 5 mil millones de parámetros, y los adaptadores LoRA o QLoRA lo amplían a modelos mucho más grandes. Más allá de eso, el trabajo necesita varias GPU, lo que cubre servidores multi-GPU.
¿Puedo poner dos o más GPU A100 o H100 en un servidor?
A menudo, y se cotiza a mano en lugar de marcarse al pagar: el espacio del chasis, las líneas PCIe y la fuente de alimentación determinan la cantidad. Ambas GPU llevan un conector de puente NVLink, pero no hay ningún puente en el formulario de pedido, así que las GPU de un servidor se comunican por PCIe salvo que se cotice un puente. Pregunta en el chat antes de pedir si el trabajo lo necesita.
¿Puedo alquilar un servidor A100 o H100 por horas?
Solo una máquina ya instalada en rack, pedida tal como está, desde servidores instantáneos. Cuesta su precio mensual dividido entre 730 horas, multiplicado por 1,3, facturado por segundo hasta que la liberes. Una configuración a medida, como las filas de esta página, se factura por mes.
¿Cuánto tarda en entregarse un servidor A100 o H100?
Unos 30 minutos después de la aprobación cuando una máquina con la GPU ya está en rack, de 4 a 24 horas cuando instalamos una GPU que tenemos, de 5 a 10 días laborables cuando la GPU se compra, y de 10 a 15 cuando está en asignación. Decimos cuál aplica antes de cobrar cualquier pago.
¿Una A100 o H100 puede transcodificar vídeo?
No por hardware. Ninguna tiene codificador NVENC, así que la codificación se ejecutaría por software en la GPU o en el procesador. Sí decodifican, con 5 motores NVDEC en la A100 y 7 en la H100. Para transcodificación en vivo elige una GPU con NVENC, como la L40S.
¿Comparto la GPU con alguien?
No. La GPU se pasa directamente a tu propio sistema operativo sin ningún hipervisor de por medio, y la máquina tiene un solo inquilino. Aun así puedes dividirla tú mismo con GPU de instancias múltiples en hasta siete instancias para tus propios trabajos.
¿Quién responde cuando necesito ayuda?
La IA de nuestro chat responde en segundos y puede consultar tu cuenta y tu servidor mientras hablas. Di que quieres a una persona y uno de nosotros toma el relevo en la misma conversación.
En texto plano
Todas las cifras de esta página
- GPUs
- NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
- A100 40 GB server from
- $772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
- A100 80 GB server from
- $972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
- H100 80 GB server from
- $1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
- Platforms
- Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
- Cities
- New York, Bucharest, San Francisco, Miami, Amsterdam
- Setup
- $29 once for a build with a GPU fitted
- Term
- Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
- Traffic
- Unmetered port, no egress charge
- GPU access
- PCIe passthrough to your own OS, root, no hypervisor
- Delivery
- About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
- Not included
- NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules
En otros lugares
Otras preguntas sobre GPU
Elige la GPU y luego la máquina que la aloja
Configura ahora un servidor A100 o H100, o dinos el modelo y el tamaño de lote en el chat. Nuestra IA responde en segundos, y una persona se une cuando lo pidas.