NVIDIA H100 · A100 · PCIe

NVIDIA H100 GPU 服务器与 A100 独立服务器 完整 GPU,你的操作系统,你的 root 权限。

这里的 H100 GPU 服务器是一台物理整机,而不是其中一部分:一块 NVIDIA H100 80 GB PCIe 或 A100(40 或 80 GB)直通给你安装的操作系统,带 root 权限和远程控制台,按月计费。H100 最低整机价格为每月 $1,682.67,A100 40 GB 为 $772.47。

  • 单租户
  • PCIe 直通
  • 不限流量端口
  • ECC HBM
  • 无合约

规格表通常漏掉四件事,本页会说明:每块 GPU 连同其所在机器的价格、显卡是 PCIe 版还是 SXM5 模块、它在我们的机箱中实际获得的 PCIe 链路,以及你的任务需要三者中的哪一种。

A100 对比 H100

NVIDIA A100 与 H100 规格对比,针对我们安装的 PCIe GPU

两者都是为矩阵运算打造的数据中心 GPU,配备堆叠式 HBM 显存和 ECC。H100 是下一代产品:显存带宽更高,第四代 Tensor Core,并通过 Transformer Engine 支持 FP8。这里的每项数据均针对 PCIe 版本,也是我们机箱唯一支持的形态。

规格A100 40 GBA100 80 GBH100 80 GB PCIe
架构AmpereAmpereHopper
GPU 显存40 GB HBM2,ECC80 GB HBM2e,ECC80 GB HBM2e,ECC
显存带宽1,555 GB/s1,935 GB/s2,039 GB/s
Tensor Core第三代第三代第四代,通过 Transformer Engine 支持 FP8
板卡功耗250 W300 W350 W
GPU 接口PCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
多实例 GPU最多 7 个实例最多 7 个实例最多 7 个实例
视频引擎无 NVENC,5 个 NVDEC无 NVENC,5 个 NVDEC无 NVENC,7 个 NVDEC
NVLink桥接连接器桥接连接器桥接连接器
显示输出无无无
来源:NVIDIA A100 数据表、NVIDIA H100 PCIe 产品简介、NVIDIA 视频编码与解码支持矩阵。

外形规格

H100 PCIe 与 H100 SXM5 的区别,以及本页销售的是哪一种

H100 有两种形态,网上最常引用的数据属于模块而非显卡。HBM3、3.35 TB/s 和最高 700 W 是 SXM5 模块:它固定在 HGX 基板上,而基板是机箱的一部分,因此无法安装到未随附该基板的服务器上。我们的机箱采用 PCIe 扩展卡,所以本页的每块 H100 都是 80 GB PCIe 显卡。

H100 80 GBPCIe,我们安装的版本SXM5
形态双槽 PCIe 扩展卡HGX 基板上的模块
GPU 显存80 GB HBM2e,ECC80 GB HBM3,ECC
显存带宽2,039 GB/s3,350 GB/s
板卡功耗350 W最高 700 W
主机链路PCIe 5.0 x16PCIe 5.0 x16,通过基板
GPU 间互联NVLink 桥接连接器,600 GB/sNVLink 配合 NVSwitch,900 GB/s
散热风冷,标准机架风冷或液冷,HGX 机箱
来源:NVIDIA H100 PCIe 产品简介、NVIDIA H100 Tensor Core GPU 数据表、NVIDIA HGX 平台文档。
  • 单块 GPU 的差距在于显存带宽:模块读取 HBM 的速度约快 1.6 倍,这在需要从显存流式读取权重或长上下文的任务中表现明显,而在计算密集型任务中差异不大。两种显卡运行相同的 CUDA 版本、相同的驱动分支和相同的框架构建。
  • NVLink 互联才是购买 SXM5 的真正原因,而且只有在任务跨多块 GPU 时才有意义。如果机箱内需要多块 GPU,或多台机器,多 GPU 服务器说明了我们的配置方式以及 GPU 之间的通信方式。
  • A100 也有同样的区分。SXM4 模块同样需要 HGX 基板,因此这里的 A100 40 GB 和 80 GB 都是 PCIe 显卡,带宽分别为 1,555 和 1,935 GB/s。

来自订单目录

A100 和 H100 服务器价格,以及每块 GPU 所在的机器

每一行代表一块 GPU 及其适配的平台。价格是该平台上最便宜机器的完整月费:处理器、内存、磁盘、不限流量端口和一个 IPv4 地址,外加 GPU。点击配置可打开该平台,在那里添加内存、磁盘或更快的端口。

GPUPlatformPCIe linkCheapest machineCitiesPer month
A100 40 GBGPU $699/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$772.47Configure
A100 40 GBGPU $699/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$782.67Configure
A100 40 GBGPU $699/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$916.59Configure
A100 80 GBGPU $899/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$972.47Configure
A100 80 GBGPU $899/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$982.67Configure
A100 80 GBGPU $899/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,116.59Configure
H100 80 GBGPU $1,599/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$1,682.67Configure
H100 80 GBGPU $1,599/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,816.59Configure

安装 GPU 的配置需支付一次性设置费 $29。预付 3、6 或 12 个月可降低月费,最高优惠 15%,续费时价格不上涨。

PCIe 链路

GPU 获得的 PCIe 链路,以及何时重要

PCIe 链路以较慢一端的速度运行。H100 是 PCIe 5.0 GPU,A100 是 PCIe 4.0 GPU;配置表显示了每个平台插槽提供的代际,并标注了插槽成为较慢一端的位置。

  • 16 GB/sPCIe 3.0 x16,双向
  • 32 GB/sPCIe 4.0 x16,双向
  • 63 GB/sPCIe 5.0 x16,双向
  • 当数据持续通过总线传输时很重要:加载大型权重、从主机内存流式传输训练批次、将优化器状态卸载到 CPU,或在没有 NVLink 桥接的两块 GPU 之间移动张量。
  • 当工作负载已驻留在 GPU 显存中时影响很小。HBM 的读取速度为 1.5 到 2 TB/s,大约是这些插槽速度的 25 到 130 倍,因此已加载的模型在每个平台上运行速度相同。
  • 如果你的流水线受总线限制,请选择表中链路最新的平台,并将数据集保存在服务器本地磁盘上,而不是通过网络访问。

规格选择

A100 或 H100:你的任务需要哪一块

从显存入手。权重、激活值,以及训练时的优化器状态都必须装入 GPU,装不下的任务换更快的芯片也救不了。

A100 40 GB

用于推理和批处理的 A100 独立服务器

HBM、ECC 和多实例 GPU 的最低价格选择。适合运行中小型模型、批量评分,以及能装入 40 GB 的科学计算代码。

A100 80 GB

双倍显存,同一代产品

带宽比 40 GB 版本高约四分之一。适合模型或批次装不进 40 GB、且原始计算不是瓶颈的场景。

H100 80 GB

用于训练的 H100 独立服务器

第四代 Tensor Core 和 FP8 在 Transformer 训练和推理上比 A100 提升吞吐量,尤其是在框架使用 FP8 时。当 GPU 每月大部分时间都在运行时,它物有所值。

模型权重装得下吗?

Model weightsPrecisionA100 40 GBA100 or H100 80 GB
7-8 billion parameters16-bitfits16 GBfits16 GB
8-bitfits8 GBfits8 GB
4-bitfits5 GBfits5 GB
13-14 billion parameters16-bittight28 GBfits28 GB
8-bitfits14 GBfits14 GB
4-bitfits8 GBfits8 GB
30-34 billion parameters16-bitno68 GBno68 GB
8-bitno34 GBfits34 GB
4-bitfits19 GBfits19 GB
70 billion parameters16-bitno140 GBno140 GB
8-bitno70 GBno70 GB
4-bitno38 GBfits38 GB

仅计算权重。“装得下”表示至少还留有一半以上的空闲空间给 KV 缓存和运行时;“勉强”可以加载,但长上下文或第二个用户就会耗尽 GPU 显存。使用 Adam 优化器进行混合精度全量微调时,每个参数在激活值之前大约需要 16 字节,因此一块 80 GB GPU 可以完整训练约 50 亿参数。LoRA 和 QLoRA 在相同显存下可以训练大得多的模型上的适配器。针对特定模型,LLM 托管会指明合适的机器。

两款 GPU 都没有硬件视频编码器。如需转码,L40S 独立服务器配备三个支持 AV1 的 NVENC 引擎。

包含内容

你掌控什么,以及如何计费

机器和 GPU 是同一张发票上的两个按月计费项目。之后在同一台服务器中更换 GPU,账单按两块 GPU 的差价调整;你的磁盘和 IP 地址保持不变。

Root 权限和远程控制台

干净的操作系统、root 访问权限,以及服务器的带外控制器,用于控制台、虚拟介质和电源管理。

由你指定的驱动

你安装 NVIDIA 驱动、CUDA 版本和代码测试所用的框架构建。希望在交付时就装好驱动?在订单上注明版本即可。

不限流量端口

双向流量均不计费,因此拉取数据集和推送检查点不会增加账单。更快的端口在订单表单中可选,不限流量带宽列出了所有选项。

按月计费

无合约,无需签署任何文件。已上架且不做更改的机器在即时服务器上也可按小时计费;按订单定制的配置则按月计费。

交付时间

A100 或 H100 服务器需要多久

交付时间取决于你下单当天 GPU 的所在位置。付款前你会知道属于四种情况中的哪一种,每种情况的计时都从订单确认后开始。

  1. 30 分钟

    已上架

    搭载该 GPU 的机器已在机架中等待。

  2. 4–24 小时

    现场安装

    我们持有 GPU,并将其安装到你配置的机器中。

  3. 5–10 天

    采购中

    工作日,适用于需要先订购 GPU 的情况。

  4. 10–15 天

    配额分配中

    工作日,适用于 GPU 处于配额分配状态、由供应商确定日期的情况。

常见问题解答

关于 H100 和 A100 GPU 服务器的疑问

NVIDIA A100 与 H100 有什么区别?

H100 是 A100 之后的一代。就我们安装的 PCIe GPU 而言,A100 拥有 40 GB HBM2,带宽 1,555 GB/s,或 80 GB HBM2e,带宽 1,935 GB/s,接口为 PCIe 4.0。H100 拥有 80 GB HBM2e,带宽 2,039 GB/s,配备支持 FP8 的第四代 Tensor Core,接口为 PCIe 5.0,功耗为 350 W,而 A100 为 250 或 300 W。三者均具备 ECC、多实例 GPU,且都没有视频编码器。

一台 H100 独立服务器多少钱?

一台完整 H100 80 GB 服务器的最低月费为 $1,682.67。该机型为 Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps,GPU 占总价的 $1,599。加装 GPU 的配置需一次性支付 $29 的安装费,配置表中列出了每个平台及其各自的价格。

一台 A100 服务器多少钱?

一台完整 A100 服务器的最低月费为:40 GB GPU 版本 $772.47,80 GB GPU 版本 $972.47,均为可搭载该 GPU 的最便宜机型。A100 40 GB 配置为 Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps。内存、硬盘和更高速的端口可在订购表单中定价。

这里的 H100 是 PCIe 还是 SXM5,是否配备 HBM3?

是 PCIe,不是 HBM3。我们的机箱采用 PCIe 附加 GPU,因此我们安装的 H100 是 80 GB PCIe 卡:HBM2e,带宽 2,039 GB/s,功耗 350 W,PCIe 5.0 x16 链路。HBM3 带宽 3,350 GB/s、功耗最高 700 W 的是 SXM5 模块,它固定在 HGX 基板上,而我们的服务器均不搭载该基板。在单颗 GPU 上,其内存带宽约为 1.6 倍,而模块所增加的 NVLink 互联仅在多颗 GPU 时才有意义。

H100 服务器适合训练 AI 模型吗?

适合,前提是模型在你所用的训练方法下能装入 80 GB。使用 Adam 进行混合精度全量微调时,在计入激活之前,每个参数大约需要 16 字节,因此一颗 H100 可完整训练约 50 亿参数的模型,而 LoRA 或 QLoRA 适配器可将其扩展到更大的模型。超过这一规模的任务需要多颗 GPU,可参阅多 GPU 服务器。

可以在一台服务器中安装两颗或更多 A100 或 H100 GPU 吗?

通常可以,但需人工报价,而非在结账时勾选:机箱空间、PCIe 通道和电源决定了可安装的数量。两款 GPU 均带有 NVLink 桥接接口,但订购表单中没有桥接器选项,因此同一服务器中的 GPU 通过 PCIe 通信,除非报价中包含桥接器。如果任务需要,请在下单前通过在线聊天咨询。

可以按小时租用 A100 或 H100 服务器吗?

仅限已上架的现机,按原配置订购,来自即时服务器。费用为月费除以 730 小时再乘以 1.3,按秒计费,直到你释放机器。按需定制的机器(如本页表格中的配置)则按月计费。

A100 或 H100 服务器多久可以交付?

若搭载该 GPU 的机器已上架,审批通过后约 30 分钟;若需安装我们库存中的 GPU,为 4 到 24 小时;若 GPU 需采购,为 5 到 10 个工作日;若 GPU 处于配额分配状态,则为 10 到 15 个工作日。我们会在收取任何费用之前告知适用哪种情况。

A100 或 H100 可以转码视频吗?

无法通过硬件实现。两者均没有 NVENC 编码器,因此编码需在 GPU 或处理器上以软件方式运行。它们支持解码,A100 配备 5 个 NVDEC 引擎,H100 配备 7 个。如需实时转码,请选择带 NVENC 的 GPU,例如 L40S。

我会与其他人共享 GPU 吗?

不会。GPU 直接直通到你自己的操作系统,中间没有虚拟机监控程序,且机器为单租户。你仍可通过多实例 GPU 自行将其拆分为最多七个实例,用于你自己的任务。

我需要帮助时,谁来回应?

我们在线聊天中的 AI 会在几秒内回复,并可在对话过程中查询你的账户和服务器。只要你表示需要人工服务,我们中的一位就会接管同一对话。

简明数据

本页所有数据

GPUs
NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
A100 40 GB server from
$772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
A100 80 GB server from
$972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
H100 80 GB server from
$1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
Platforms
Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami, Amsterdam
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
Not included
NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules

先选 GPU,再选其下的机器

立即配置 A100 或 H100 服务器,或在在线聊天中告诉我们模型和批次大小。我们的 AI 会在几秒内回复,需要时人工客服会加入。

配置 H100 服务器