NVIDIA H100 · A100 · PCIe

NVIDIA H100 GPU sunucusu ve A100 dedicated sunucu GPU'nun tamamı, işletim sisteminiz, root yetkiniz.

Buradaki H100 GPU sunucusu tek bir fiziksel makinedir, bir makinenin dilimi değil: kurduğunuz işletim sistemine doğrudan aktarılan bir NVIDIA H100 80 GB PCIe veya A100 (40 ya da 80 GB), root erişimi ve uzak konsol ile aylık faturalandırılır. En düşük komple fiyat H100 ile aylık $1,682.67, A100 40 GB ile ise $772.47 tutarındadır.

  • Tek kiracılı
  • PCIe passthrough
  • Sınırsız port
  • ECC HBM
  • Sözleşmesiz

Teknik özellik sayfaları dört şeyi atlar, bu sayfa ise onları verir: her GPU'nun altındaki makineyle birlikte maliyeti, kartın PCIe mi yoksa SXM5 modülü mü olduğu, kasamızda gerçekte hangi PCIe bağlantısını aldığı ve işinizin bu üçünden hangisine ihtiyaç duyduğu.

A100 vs H100

Taktiğimiz PCIe GPU'lar için NVIDIA A100 vs H100 özellikleri

Her ikisi de matris aritmetiği için üretilmiş, yığılmış HBM bellek ve ECC'ye sahip veri merkezi GPU'larıdır. H100 yeni nesildir: daha fazla bellek bant genişliği, dördüncü nesil Tensor Çekirdekleri ve Transformer Engine üzerinden FP8. Buradaki her rakam, kasamızın kabul ettiği tek biçim olan PCIe sürümü içindir.

ÖzellikA100 40 GBA100 80 GBH100 80 GB PCIe
MimariAmpereAmpereHopper
GPU belleği40 GB HBM2, ECC80 GB HBM2e, ECC80 GB HBM2e, ECC
Bellek bant genişliği1.555 GB/s1.935 GB/s2.039 GB/s
Tensor Çekirdekleri3. nesil3. nesil4. nesil, Transformer Engine ile FP8
Kart gücü250 W300 W350 W
GPU arayüzüPCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
Çok Örnekli GPU7 örneğe kadar7 örneğe kadar7 örneğe kadar
Video motorlarıNVENC yok, 5 NVDECNVENC yok, 5 NVDECNVENC yok, 7 NVDEC
NVLinkKöprü konnektörüKöprü konnektörüKöprü konnektörü
Ekran çıkışlarıYokYokYok
Kaynaklar: NVIDIA A100 veri sayfası, NVIDIA H100 PCIe ürün özeti, NVIDIA video kodlama ve kod çözme destek matrisi.

Form faktörü

H100 PCIe vs H100 SXM5 ve bu sayfanın sattığı hangisi

H100 iki biçimde gelir ve web'de en sık alıntılanan rakamlar karta değil modüle aittir. HBM3, 3,35 TB/s ve 700 W'a kadar güç SXM5 modülünün değerleridir: kasaya ait bir HGX ana kartına vidalanır, bu yüzden onunla satın alınmamış bir sunucuya takılamaz. Kasalarımız PCIe eklenti kartı kabul eder, dolayısıyla bu sayfadaki her H100 80 GB PCIe kartıdır.

H100 80 GBPCIe, taktığımızSXM5
BiçimÇift yuvalı PCIe eklenti kartıHGX ana kartı üzerinde modül
GPU belleği80 GB HBM2e, ECC80 GB HBM3, ECC
Bellek bant genişliği2.039 GB/s3.350 GB/s
Kart gücü350 W700 W'a kadar
Ana bağlantıPCIe 5.0 x16PCIe 5.0 x16, ana kart üzerinden
GPU'dan GPU'yaNVLink köprü konnektörü, 600 GB/sNVSwitch ile NVLink, 900 GB/s
SoğutmaStandart rafta havaHGX kasasında hava veya sıvı
Kaynaklar: NVIDIA H100 PCIe ürün özeti, NVIDIA H100 Tensor Core GPU veri sayfası, NVIDIA HGX platform belgeleri.
  • Tek GPU'da fark bellek bant genişliğindedir: modül HBM'yi yaklaşık 1,6 kat daha hızlı okur; bu, ağırlıkları veya uzun bir bağlamı bellekten akıtan işlerde görünür, aritmetikle sınırlı işlerde ise pek görünmez. Her iki kart da aynı CUDA sürümünü, aynı sürücü dalını ve aynı framework derlemelerini çalıştırır.
  • NVLink dokusu SXM5'in asıl satın alınma nedenidir ve yalnızca bir iş birden fazla GPU'ya yayıldığında önem taşır. Bir kasada birden fazla GPU veya birden fazla makine için çok GPU'lu sunucular ne kurduğumuzu ve GPU'ların nasıl haberleştiğini anlatır.
  • A100'de de aynı ayrım vardır. SXM4 modülü de bir HGX ana kartı gerektirir, bu yüzden buradaki A100 40 GB ve 80 GB, 1.555 ve 1.935 GB/s değerleriyle PCIe kartlarıdır.

Sipariş kataloğundan

A100 ve H100 sunucu fiyatları, her birinin girdiği makineyle birlikte

Her satır, onu kabul eden bir platform üzerindeki tek GPU'dur. Fiyat, o platformdaki en ucuz makinenin tam aylık faturasıdır: işlemci, bellek, diskler, sınırsız port ve bir IPv4 adresi artı GPU. Yapılandır, bellek, disk veya daha hızlı port ekleyebileceğiniz o platformu açar.

GPUPlatformPCIe linkCheapest machineCitiesPer month
A100 40 GBGPU $699/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$772.47Configure
A100 40 GBGPU $699/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$782.67Configure
A100 40 GBGPU $699/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$916.59Configure
A100 80 GBGPU $899/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$972.47Configure
A100 80 GBGPU $899/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$982.67Configure
A100 80 GBGPU $899/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,116.59Configure
H100 80 GBGPU $1,599/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$1,682.67Configure
H100 80 GBGPU $1,599/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,816.59Configure

GPU takılı bir yapılandırma, tek seferlik $29 kurulum ücreti öder. 3, 6 veya 12 ay peşin ödemek aylık ücreti 15% oranına kadar düşürür ve yenilemede fiyat artmaz.

PCIe bağlantısı

GPU'nun aldığı PCIe bağlantısı ve ne zaman önemli olduğu

Bir PCIe bağlantısı, yavaş olan ucunun hızında çalışır. H100 bir PCIe 5.0 GPU'su, A100 ise bir PCIe 4.0 GPU'sudur; yapılandırma tablosu her platformun yuvasının onlara verdiği nesli gösterir ve yuvanın yavaş uç olduğu yerleri işaretler.

  • 16 GB/sPCIe 3.0 x16, her yönde
  • 32 GB/sPCIe 4.0 x16, her yönde
  • 63 GB/sPCIe 5.0 x16, her yönde
  • Veri sürekli veri yolundan geçtiğinde önemlidir: büyük ağırlıkları yüklemek, ana bellekten eğitim partilerini akıtmak, optimizer durumunu CPU'ya boşaltmak veya NVLink köprüsü olmayan iki GPU arasında tensör taşımak gibi.
  • İş GPU belleğine yerleştiğinde pek önemli değildir. HBM 1,5 ila 2 TB/s hızında okur; bu yuvaların kabaca 25 ila 130 katıdır, bu yüzden yüklü kalan bir model her platformda aynı hızda çalışır.
  • İş hattınız veri yoluyla sınırlıysa tablodaki en yeni bağlantıya sahip platformu seçin ve veri kümesini ağ üzerinden değil sunucunun kendi disklerinde tutun.

Boyutlandırma

A100 veya H100: işinizin hangisine ihtiyacı var

Bellekten başlayın. Ağırlıklar, aktivasyonlar ve eğitim için optimizer durumu GPU'ya sığmalıdır; sığmayan bir işi daha hızlı bir çip kurtarmaz.

A100 40 GB

Çıkarım ve toplu işler için A100 dedicated sunucu

HBM, ECC ve Çok Örnekli GPU için en düşük fiyat. Küçük ve orta boy modelleri sunmak, toplu puanlama ve 40 GB'a sığan bilimsel kodlar için doğru seçim.

A100 80 GB

İki kat bellek, aynı nesil

40 GB'lık parçadan yaklaşık dörtte bir daha fazla bant genişliği. Model veya parti 40 GB'a sığmadığında ve ham aritmetik darboğaz olmadığında doğru seçim.

H100 80 GB

Eğitim için H100 dedicated sunucu

Dördüncü nesil Tensor Çekirdekleri ve FP8, transformer eğitimi ve çıkarımında A100'e göre verimi artırır; en çok framework'ünüzün FP8 kullandığı yerlerde. GPU ayın çoğunda meşgulse fiyatına değer.

Modelin ağırlıkları sığacak mı?

Model weightsPrecisionA100 40 GBA100 or H100 80 GB
7-8 billion parameters16-bitfits16 GBfits16 GB
8-bitfits8 GBfits8 GB
4-bitfits5 GBfits5 GB
13-14 billion parameters16-bittight28 GBfits28 GB
8-bitfits14 GBfits14 GB
4-bitfits8 GBfits8 GB
30-34 billion parameters16-bitno68 GBno68 GB
8-bitno34 GBfits34 GB
4-bitfits19 GBfits19 GB
70 billion parameters16-bitno140 GBno140 GB
8-bitno70 GBno70 GB
4-bitno38 GBfits38 GB

Yalnızca ağırlıklar. "Sığar", KV önbelleği ve çalışma zamanı için en az yarısı kadar daha boş alan bırakır; "sıkı" yüklenir, ancak uzun bir bağlam veya ikinci bir kullanıcı GPU'yu tüketir. Adam optimizer ile karışık hassasiyette tam ince ayar, aktivasyonlardan önce parametre başına yaklaşık 16 bayt gerektirir; bu yüzden bir 80 GB GPU yaklaşık 5 milyar parametreyi tam olarak eğitir. LoRA ve QLoRA aynı bellekte çok daha büyük modellerde adaptör eğitir. Belirli bir model için LLM barındırma makineyi adlandırır.

Her iki GPU'da da donanım video kodlayıcısı yoktur. Kod dönüştürme için L40S dedicated sunucu AV1 destekli üç NVENC motoru taşır.

Dahil olanlar

Neyi kontrol edersiniz ve nasıl faturalandırılır

Makine ve GPU tek faturada iki aylık kalemdir. Aynı sunucuda GPU'yu sonradan değiştirirseniz fatura iki GPU arasındaki fark kadar değişir; diskleriniz ve IP adresleriniz kalır.

Root ve uzak konsol

Temiz bir işletim sistemi, root erişimi ve konsol, sanal ortam ve güç için sunucunun bant dışı denetleyicisi.

Sizin sabitlediğiniz sürücüler

NVIDIA sürücüsünü, CUDA sürümünü ve kodunuzun test edildiği framework derlemesini siz kurarsınız. Sürücünün teslimatta hazır olmasını mı istiyorsunuz? Sürümü siparişe yazın.

Sınırsız port

Trafik her iki yönde de ölçülmez; veri kümesi çekmek ve kontrol noktası göndermek faturaya hiçbir şey eklemez. Daha hızlı portlar sipariş formundadır ve sınırsız bant genişliği bunları listeler.

Aydan aya

Sözleşme yok, imzalanacak bir şey yok. Değişiklik yapılmadan alınan raftaki makineler anında sunucular üzerinde saatlik faturalandırılır; siparişe göre yapılan bir yapılandırma aylıktır.

Teslimat

Bir A100 veya H100 sunucusu ne kadar sürer

Teslim süresi, sipariş verdiğiniz gün GPU'nun nerede olduğuna bağlıdır. Dört durumdan hangisinin geçerli olduğunu ödemeden önce öğrenirsiniz ve her saat onayla başlar.

  1. 30 dk

    Zaten rafta

    GPU'yu taşıyan bir makine rafta bekliyor.

  2. 4–24 sa

    Burada takılır

    GPU'yu elimizde tutar ve yapılandırdığınız makineye takarız.

  3. 5–10 gün

    Siparişle alınır

    GPU'nun önce sipariş edilmesi gerektiğinde iş günü.

  4. 10–15 gün

    Tahsisli

    GPU tahsisli olduğunda ve tarihi tedarikçi belirlediğinde iş günü.

Yanıtlar

H100 ve A100 GPU sunucuları hakkında sorular

NVIDIA A100 ile H100 arasındaki fark nedir?

H100, A100'den sonraki nesildir. Taktiğimiz PCIe GPU'lar olarak A100, 1.555 GB/s hızında 40 GB HBM2 veya 1.935 GB/s hızında 80 GB HBM2e ve PCIe 4.0 arayüzüne sahiptir. H100 ise 2.039 GB/s hızında 80 GB HBM2e, FP8 destekli dördüncü nesil Tensor Çekirdekleri ve PCIe 5.0 arayüzü sunar; güç tüketimi 250 veya 300 W'a karşılık 350 W'tır. Üçünde de ECC, Çok Örnekli GPU bulunur ve video kodlayıcı yoktur.

H100 dedicated sunucunun maliyeti ne kadar?

Eksiksiz bir H100 80 GB sunucunun en düşük aylık fiyatı $1,682.67 tutarındadır. Bu makine Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps yapılandırmasındadır ve GPU toplamın $1,599 kısmını oluşturur. GPU takılı bir yapılandırmada bir kerelik $29 kurulum ücreti eklenir ve yapılandırma tablosu her platformu kendi fiyatıyla listeler.

A100 sunucunun maliyeti ne kadar?

Eksiksiz bir A100 sunucunun en düşük aylık fiyatı, 40 GB GPU ile $772.47, 80 GB GPU ile $972.47 tutarındadır; her biri onu alabilen en ucuz makinede sunulur. A100 40 GB yapılandırması Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps şeklindedir. Bellek, diskler ve daha hızlı port sipariş formunda fiyatlandırılır.

Buradaki H100 PCIe mi yoksa SXM5 mi ve HBM3 var mı?

PCIe ve hayır. Kasalarımız PCIe eklenti GPU'ları alır, bu yüzden taktiğimiz H100 80 GB PCIe kartıdır: 2.039 GB/s hızında HBM2e, 350 W, PCIe 5.0 x16 bağlantısı. 3.350 GB/s hızında ve 700 W'a kadar HBM3 ise SXM5 modülüdür; bu modül, sunucularımızın hiçbirinde bulunmayan bir HGX ana kartına bağlanır. Tek GPU'da bu yaklaşık 1,6 kat bellek bant genişliği demektir ve modülün eklediği NVLink dokusu yalnızca birden fazla GPU'da anlam kazanır.

H100 sunucu yapay zeka modellerini eğitmek için iyi midir?

Evet, kullandığınız eğitim yöntemiyle 80 GB'a sığan modeller için. Adam ile karışık hassasiyette tam ince ayar, aktivasyonlardan önce parametre başına yaklaşık 16 bayt gerektirir; bu nedenle tek bir H100 yaklaşık 5 milyar parametreyi tam olarak eğitebilir, LoRA veya QLoRA bağdaştırıcıları ise bunu çok daha büyük modellere taşır. Bunun ötesinde iş birden fazla GPU gerektirir; bu konuyu çoklu GPU sunucuları sayfası ele alır.

Bir sunucuya iki veya daha fazla A100 ya da H100 GPU takabilir miyim?

Çoğu zaman evet ve bu, ödeme sırasında işaretlemek yerine elle fiyatlandırılır: kasa boşluğu, PCIe hatları ve güç kaynağı sayıyı belirler. Her iki GPU da NVLink köprü bağlantısı taşır, ancak sipariş formunda köprü bulunmaz; bu yüzden bir sunucudaki GPU'lar, köprü fiyatlandırılmadıkça PCIe üzerinden iletişim kurar. İşiniz köprü gerektiriyorsa siparişten önce sohbette sorun.

A100 veya H100 sunucuyu saatlik kiralayabilir miyim?

Yalnızca halihazırda rafa takılmış, olduğu gibi sipariş edilen bir makineyi anında sunucular sayfasından kiralayabilirsiniz. Maliyeti, aylık fiyatının 730 saate bölünüp 1,3 ile çarpılmasıyla hesaplanır ve siz bırakana kadar saniye bazında ölçülür. Bu sayfadaki satırlar gibi siparişe göre yapılan bir yapılandırma ise aylık faturalandırılır.

A100 veya H100 sunucunun teslimi ne kadar sürer?

GPU'lu bir makine zaten raftaysa onaydan yaklaşık 30 dakika sonra, elimizdeki bir GPU'yu taktığımızda 4 ila 24 saat, GPU satın alındığında 5 ila 10 iş günü, tahsisli olduğunda ise 10 ila 15 iş günü sürer. Hangi durumun geçerli olduğunu herhangi bir ödeme alınmadan önce söyleriz.

A100 veya H100 video dönüştürebilir mi?

Donanımda hayır. İkisinde de NVENC kodlayıcı yoktur, bu yüzden kodlama GPU veya işlemci üzerinde yazılımla çalışır. Çözme yapabilirler; A100'de 5, H100'de 7 NVDEC motoru bulunur. Canlı dönüştürme için L40S gibi NVENC'li bir GPU seçin.

GPU'yu başka biriyle paylaşıyor muyum?

Hayır. GPU, arada hipervizör olmadan kendi işletim sisteminize doğrudan geçirilir ve makinede tek kiracı vardır. Yine de kendi işleriniz için Çok Örnekli GPU ile onu yedi örneğe kadar kendiniz bölebilirsiniz.

Yardıma ihtiyacım olduğunda kim yanıt verir?

Sohbetimizdeki yapay zeka saniyeler içinde yanıt verir ve siz konuşurken hesabınıza ve sunucunuza bakabilir. Bir kişiyle görüşmek istediğinizi söylediğinizde ekibimizden biri aynı konuşmayı devralır.

Düz metin olarak

Bu sayfadaki her rakam

GPUs
NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
A100 40 GB server from
$772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
A100 80 GB server from
$972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
H100 80 GB server from
$1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
Platforms
Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami, Amsterdam
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
Not included
NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules

Önce GPU'yu, sonra altındaki makineyi seçin

Şimdi bir A100 veya H100 sunucu yapılandırın ya da sohbette modeli ve yığın boyutunu bize söyleyin. Yapay zekamız saniyeler içinde yanıt verir, siz istediğinizde bir kişi katılır.

H100 sunucu yapılandır