NVIDIA H100 · A100 · PCIe
NVIDIA H100 GPU sunucusu ve A100 dedicated sunucu GPU'nun tamamı, işletim sisteminiz, root yetkiniz.
Buradaki H100 GPU sunucusu tek bir fiziksel makinedir, bir makinenin dilimi değil: kurduğunuz işletim sistemine doğrudan aktarılan bir NVIDIA H100 80 GB PCIe veya A100 (40 ya da 80 GB), root erişimi ve uzak konsol ile aylık faturalandırılır. En düşük komple fiyat H100 ile aylık $1,682.67, A100 40 GB ile ise $772.47 tutarındadır.
- Tek kiracılı
- PCIe passthrough
- Sınırsız port
- ECC HBM
- Sözleşmesiz
Teknik özellik sayfaları dört şeyi atlar, bu sayfa ise onları verir: her GPU'nun altındaki makineyle birlikte maliyeti, kartın PCIe mi yoksa SXM5 modülü mü olduğu, kasamızda gerçekte hangi PCIe bağlantısını aldığı ve işinizin bu üçünden hangisine ihtiyaç duyduğu.
A100 vs H100
Taktiğimiz PCIe GPU'lar için NVIDIA A100 vs H100 özellikleri
Her ikisi de matris aritmetiği için üretilmiş, yığılmış HBM bellek ve ECC'ye sahip veri merkezi GPU'larıdır. H100 yeni nesildir: daha fazla bellek bant genişliği, dördüncü nesil Tensor Çekirdekleri ve Transformer Engine üzerinden FP8. Buradaki her rakam, kasamızın kabul ettiği tek biçim olan PCIe sürümü içindir.
| Özellik | A100 40 GB | A100 80 GB | H100 80 GB PCIe |
|---|---|---|---|
| Mimari | Ampere | Ampere | Hopper |
| GPU belleği | 40 GB HBM2, ECC | 80 GB HBM2e, ECC | 80 GB HBM2e, ECC |
| Bellek bant genişliği | 1.555 GB/s | 1.935 GB/s | 2.039 GB/s |
| Tensor Çekirdekleri | 3. nesil | 3. nesil | 4. nesil, Transformer Engine ile FP8 |
| Kart gücü | 250 W | 300 W | 350 W |
| GPU arayüzü | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| Çok Örnekli GPU | 7 örneğe kadar | 7 örneğe kadar | 7 örneğe kadar |
| Video motorları | NVENC yok, 5 NVDEC | NVENC yok, 5 NVDEC | NVENC yok, 7 NVDEC |
| NVLink | Köprü konnektörü | Köprü konnektörü | Köprü konnektörü |
| Ekran çıkışları | Yok | Yok | Yok |
Form faktörü
H100 PCIe vs H100 SXM5 ve bu sayfanın sattığı hangisi
H100 iki biçimde gelir ve web'de en sık alıntılanan rakamlar karta değil modüle aittir. HBM3, 3,35 TB/s ve 700 W'a kadar güç SXM5 modülünün değerleridir: kasaya ait bir HGX ana kartına vidalanır, bu yüzden onunla satın alınmamış bir sunucuya takılamaz. Kasalarımız PCIe eklenti kartı kabul eder, dolayısıyla bu sayfadaki her H100 80 GB PCIe kartıdır.
| H100 80 GB | PCIe, taktığımız | SXM5 |
|---|---|---|
| Biçim | Çift yuvalı PCIe eklenti kartı | HGX ana kartı üzerinde modül |
| GPU belleği | 80 GB HBM2e, ECC | 80 GB HBM3, ECC |
| Bellek bant genişliği | 2.039 GB/s | 3.350 GB/s |
| Kart gücü | 350 W | 700 W'a kadar |
| Ana bağlantı | PCIe 5.0 x16 | PCIe 5.0 x16, ana kart üzerinden |
| GPU'dan GPU'ya | NVLink köprü konnektörü, 600 GB/s | NVSwitch ile NVLink, 900 GB/s |
| Soğutma | Standart rafta hava | HGX kasasında hava veya sıvı |
- Tek GPU'da fark bellek bant genişliğindedir: modül HBM'yi yaklaşık 1,6 kat daha hızlı okur; bu, ağırlıkları veya uzun bir bağlamı bellekten akıtan işlerde görünür, aritmetikle sınırlı işlerde ise pek görünmez. Her iki kart da aynı CUDA sürümünü, aynı sürücü dalını ve aynı framework derlemelerini çalıştırır.
- NVLink dokusu SXM5'in asıl satın alınma nedenidir ve yalnızca bir iş birden fazla GPU'ya yayıldığında önem taşır. Bir kasada birden fazla GPU veya birden fazla makine için çok GPU'lu sunucular ne kurduğumuzu ve GPU'ların nasıl haberleştiğini anlatır.
- A100'de de aynı ayrım vardır. SXM4 modülü de bir HGX ana kartı gerektirir, bu yüzden buradaki A100 40 GB ve 80 GB, 1.555 ve 1.935 GB/s değerleriyle PCIe kartlarıdır.
Sipariş kataloğundan
A100 ve H100 sunucu fiyatları, her birinin girdiği makineyle birlikte
Her satır, onu kabul eden bir platform üzerindeki tek GPU'dur. Fiyat, o platformdaki en ucuz makinenin tam aylık faturasıdır: işlemci, bellek, diskler, sınırsız port ve bir IPv4 adresi artı GPU. Yapılandır, bellek, disk veya daha hızlı port ekleyebileceğiniz o platformu açar.
| GPU | Platform | PCIe link | Cheapest machine | Cities | Per month |
|---|---|---|---|---|---|
| A100 40 GBGPU $699/mo | Intel Xeon E5-2600 v3/v4 | PCIe 3.0 x16GPU is 4.0 | Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $772.47Configure |
| A100 40 GBGPU $699/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $782.67Configure |
| A100 40 GBGPU $699/mo | AMD EPYC | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $916.59Configure |
| A100 80 GBGPU $899/mo | Intel Xeon E5-2600 v3/v4 | PCIe 3.0 x16GPU is 4.0 | Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $972.47Configure |
| A100 80 GBGPU $899/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $982.67Configure |
| A100 80 GBGPU $899/mo | AMD EPYC | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $1,116.59Configure |
| H100 80 GBGPU $1,599/mo | Intel Xeon Silver / Gold | PCIe 3.0 x16GPU is 5.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami, Amsterdam | $1,682.67Configure |
| H100 80 GBGPU $1,599/mo | AMD EPYC | PCIe 4.0 x16GPU is 5.0 | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $1,816.59Configure |
GPU takılı bir yapılandırma, tek seferlik $29 kurulum ücreti öder. 3, 6 veya 12 ay peşin ödemek aylık ücreti 15% oranına kadar düşürür ve yenilemede fiyat artmaz.
PCIe bağlantısı
GPU'nun aldığı PCIe bağlantısı ve ne zaman önemli olduğu
Bir PCIe bağlantısı, yavaş olan ucunun hızında çalışır. H100 bir PCIe 5.0 GPU'su, A100 ise bir PCIe 4.0 GPU'sudur; yapılandırma tablosu her platformun yuvasının onlara verdiği nesli gösterir ve yuvanın yavaş uç olduğu yerleri işaretler.
- 16 GB/sPCIe 3.0 x16, her yönde
- 32 GB/sPCIe 4.0 x16, her yönde
- 63 GB/sPCIe 5.0 x16, her yönde
- Veri sürekli veri yolundan geçtiğinde önemlidir: büyük ağırlıkları yüklemek, ana bellekten eğitim partilerini akıtmak, optimizer durumunu CPU'ya boşaltmak veya NVLink köprüsü olmayan iki GPU arasında tensör taşımak gibi.
- İş GPU belleğine yerleştiğinde pek önemli değildir. HBM 1,5 ila 2 TB/s hızında okur; bu yuvaların kabaca 25 ila 130 katıdır, bu yüzden yüklü kalan bir model her platformda aynı hızda çalışır.
- İş hattınız veri yoluyla sınırlıysa tablodaki en yeni bağlantıya sahip platformu seçin ve veri kümesini ağ üzerinden değil sunucunun kendi disklerinde tutun.
Boyutlandırma
A100 veya H100: işinizin hangisine ihtiyacı var
Bellekten başlayın. Ağırlıklar, aktivasyonlar ve eğitim için optimizer durumu GPU'ya sığmalıdır; sığmayan bir işi daha hızlı bir çip kurtarmaz.
A100 40 GB
Çıkarım ve toplu işler için A100 dedicated sunucu
HBM, ECC ve Çok Örnekli GPU için en düşük fiyat. Küçük ve orta boy modelleri sunmak, toplu puanlama ve 40 GB'a sığan bilimsel kodlar için doğru seçim.
A100 80 GB
İki kat bellek, aynı nesil
40 GB'lık parçadan yaklaşık dörtte bir daha fazla bant genişliği. Model veya parti 40 GB'a sığmadığında ve ham aritmetik darboğaz olmadığında doğru seçim.
H100 80 GB
Eğitim için H100 dedicated sunucu
Dördüncü nesil Tensor Çekirdekleri ve FP8, transformer eğitimi ve çıkarımında A100'e göre verimi artırır; en çok framework'ünüzün FP8 kullandığı yerlerde. GPU ayın çoğunda meşgulse fiyatına değer.
Modelin ağırlıkları sığacak mı?
| Model weights | Precision | A100 40 GB | A100 or H100 80 GB |
|---|---|---|---|
| 7-8 billion parameters | 16-bit | fits16 GB | fits16 GB |
| 8-bit | fits8 GB | fits8 GB | |
| 4-bit | fits5 GB | fits5 GB | |
| 13-14 billion parameters | 16-bit | tight28 GB | fits28 GB |
| 8-bit | fits14 GB | fits14 GB | |
| 4-bit | fits8 GB | fits8 GB | |
| 30-34 billion parameters | 16-bit | no68 GB | no68 GB |
| 8-bit | no34 GB | fits34 GB | |
| 4-bit | fits19 GB | fits19 GB | |
| 70 billion parameters | 16-bit | no140 GB | no140 GB |
| 8-bit | no70 GB | no70 GB | |
| 4-bit | no38 GB | fits38 GB |
Yalnızca ağırlıklar. "Sığar", KV önbelleği ve çalışma zamanı için en az yarısı kadar daha boş alan bırakır; "sıkı" yüklenir, ancak uzun bir bağlam veya ikinci bir kullanıcı GPU'yu tüketir. Adam optimizer ile karışık hassasiyette tam ince ayar, aktivasyonlardan önce parametre başına yaklaşık 16 bayt gerektirir; bu yüzden bir 80 GB GPU yaklaşık 5 milyar parametreyi tam olarak eğitir. LoRA ve QLoRA aynı bellekte çok daha büyük modellerde adaptör eğitir. Belirli bir model için LLM barındırma makineyi adlandırır.
Her iki GPU'da da donanım video kodlayıcısı yoktur. Kod dönüştürme için L40S dedicated sunucu AV1 destekli üç NVENC motoru taşır.
Dahil olanlar
Neyi kontrol edersiniz ve nasıl faturalandırılır
Makine ve GPU tek faturada iki aylık kalemdir. Aynı sunucuda GPU'yu sonradan değiştirirseniz fatura iki GPU arasındaki fark kadar değişir; diskleriniz ve IP adresleriniz kalır.
Root ve uzak konsol
Temiz bir işletim sistemi, root erişimi ve konsol, sanal ortam ve güç için sunucunun bant dışı denetleyicisi.
Sizin sabitlediğiniz sürücüler
NVIDIA sürücüsünü, CUDA sürümünü ve kodunuzun test edildiği framework derlemesini siz kurarsınız. Sürücünün teslimatta hazır olmasını mı istiyorsunuz? Sürümü siparişe yazın.
Sınırsız port
Trafik her iki yönde de ölçülmez; veri kümesi çekmek ve kontrol noktası göndermek faturaya hiçbir şey eklemez. Daha hızlı portlar sipariş formundadır ve sınırsız bant genişliği bunları listeler.
Aydan aya
Sözleşme yok, imzalanacak bir şey yok. Değişiklik yapılmadan alınan raftaki makineler anında sunucular üzerinde saatlik faturalandırılır; siparişe göre yapılan bir yapılandırma aylıktır.
Teslimat
Bir A100 veya H100 sunucusu ne kadar sürer
Teslim süresi, sipariş verdiğiniz gün GPU'nun nerede olduğuna bağlıdır. Dört durumdan hangisinin geçerli olduğunu ödemeden önce öğrenirsiniz ve her saat onayla başlar.
- 30 dk
Zaten rafta
GPU'yu taşıyan bir makine rafta bekliyor.
- 4–24 sa
Burada takılır
GPU'yu elimizde tutar ve yapılandırdığınız makineye takarız.
- 5–10 gün
Siparişle alınır
GPU'nun önce sipariş edilmesi gerektiğinde iş günü.
- 10–15 gün
Tahsisli
GPU tahsisli olduğunda ve tarihi tedarikçi belirlediğinde iş günü.
GPU pazar yeri
Sahiplerinin listelediği A100 ve H100 makineleri
Sahipler kendi A100 ve H100 makinelerini de pazar yerimizde aylık fiyatlarıyla listeler. Kardeş şirketimiz Primcast'nin ilanları da burada görünür ve orada kiralanır.
Yanıtlar
H100 ve A100 GPU sunucuları hakkında sorular
NVIDIA A100 ile H100 arasındaki fark nedir?
H100, A100'den sonraki nesildir. Taktiğimiz PCIe GPU'lar olarak A100, 1.555 GB/s hızında 40 GB HBM2 veya 1.935 GB/s hızında 80 GB HBM2e ve PCIe 4.0 arayüzüne sahiptir. H100 ise 2.039 GB/s hızında 80 GB HBM2e, FP8 destekli dördüncü nesil Tensor Çekirdekleri ve PCIe 5.0 arayüzü sunar; güç tüketimi 250 veya 300 W'a karşılık 350 W'tır. Üçünde de ECC, Çok Örnekli GPU bulunur ve video kodlayıcı yoktur.
H100 dedicated sunucunun maliyeti ne kadar?
Eksiksiz bir H100 80 GB sunucunun en düşük aylık fiyatı $1,682.67 tutarındadır. Bu makine Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps yapılandırmasındadır ve GPU toplamın $1,599 kısmını oluşturur. GPU takılı bir yapılandırmada bir kerelik $29 kurulum ücreti eklenir ve yapılandırma tablosu her platformu kendi fiyatıyla listeler.
A100 sunucunun maliyeti ne kadar?
Eksiksiz bir A100 sunucunun en düşük aylık fiyatı, 40 GB GPU ile $772.47, 80 GB GPU ile $972.47 tutarındadır; her biri onu alabilen en ucuz makinede sunulur. A100 40 GB yapılandırması Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps şeklindedir. Bellek, diskler ve daha hızlı port sipariş formunda fiyatlandırılır.
Buradaki H100 PCIe mi yoksa SXM5 mi ve HBM3 var mı?
PCIe ve hayır. Kasalarımız PCIe eklenti GPU'ları alır, bu yüzden taktiğimiz H100 80 GB PCIe kartıdır: 2.039 GB/s hızında HBM2e, 350 W, PCIe 5.0 x16 bağlantısı. 3.350 GB/s hızında ve 700 W'a kadar HBM3 ise SXM5 modülüdür; bu modül, sunucularımızın hiçbirinde bulunmayan bir HGX ana kartına bağlanır. Tek GPU'da bu yaklaşık 1,6 kat bellek bant genişliği demektir ve modülün eklediği NVLink dokusu yalnızca birden fazla GPU'da anlam kazanır.
H100 sunucu yapay zeka modellerini eğitmek için iyi midir?
Evet, kullandığınız eğitim yöntemiyle 80 GB'a sığan modeller için. Adam ile karışık hassasiyette tam ince ayar, aktivasyonlardan önce parametre başına yaklaşık 16 bayt gerektirir; bu nedenle tek bir H100 yaklaşık 5 milyar parametreyi tam olarak eğitebilir, LoRA veya QLoRA bağdaştırıcıları ise bunu çok daha büyük modellere taşır. Bunun ötesinde iş birden fazla GPU gerektirir; bu konuyu çoklu GPU sunucuları sayfası ele alır.
Bir sunucuya iki veya daha fazla A100 ya da H100 GPU takabilir miyim?
Çoğu zaman evet ve bu, ödeme sırasında işaretlemek yerine elle fiyatlandırılır: kasa boşluğu, PCIe hatları ve güç kaynağı sayıyı belirler. Her iki GPU da NVLink köprü bağlantısı taşır, ancak sipariş formunda köprü bulunmaz; bu yüzden bir sunucudaki GPU'lar, köprü fiyatlandırılmadıkça PCIe üzerinden iletişim kurar. İşiniz köprü gerektiriyorsa siparişten önce sohbette sorun.
A100 veya H100 sunucuyu saatlik kiralayabilir miyim?
Yalnızca halihazırda rafa takılmış, olduğu gibi sipariş edilen bir makineyi anında sunucular sayfasından kiralayabilirsiniz. Maliyeti, aylık fiyatının 730 saate bölünüp 1,3 ile çarpılmasıyla hesaplanır ve siz bırakana kadar saniye bazında ölçülür. Bu sayfadaki satırlar gibi siparişe göre yapılan bir yapılandırma ise aylık faturalandırılır.
A100 veya H100 sunucunun teslimi ne kadar sürer?
GPU'lu bir makine zaten raftaysa onaydan yaklaşık 30 dakika sonra, elimizdeki bir GPU'yu taktığımızda 4 ila 24 saat, GPU satın alındığında 5 ila 10 iş günü, tahsisli olduğunda ise 10 ila 15 iş günü sürer. Hangi durumun geçerli olduğunu herhangi bir ödeme alınmadan önce söyleriz.
A100 veya H100 video dönüştürebilir mi?
Donanımda hayır. İkisinde de NVENC kodlayıcı yoktur, bu yüzden kodlama GPU veya işlemci üzerinde yazılımla çalışır. Çözme yapabilirler; A100'de 5, H100'de 7 NVDEC motoru bulunur. Canlı dönüştürme için L40S gibi NVENC'li bir GPU seçin.
GPU'yu başka biriyle paylaşıyor muyum?
Hayır. GPU, arada hipervizör olmadan kendi işletim sisteminize doğrudan geçirilir ve makinede tek kiracı vardır. Yine de kendi işleriniz için Çok Örnekli GPU ile onu yedi örneğe kadar kendiniz bölebilirsiniz.
Yardıma ihtiyacım olduğunda kim yanıt verir?
Sohbetimizdeki yapay zeka saniyeler içinde yanıt verir ve siz konuşurken hesabınıza ve sunucunuza bakabilir. Bir kişiyle görüşmek istediğinizi söylediğinizde ekibimizden biri aynı konuşmayı devralır.
Düz metin olarak
Bu sayfadaki her rakam
- GPUs
- NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
- A100 40 GB server from
- $772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
- A100 80 GB server from
- $972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
- H100 80 GB server from
- $1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
- Platforms
- Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
- Cities
- New York, Bucharest, San Francisco, Miami, Amsterdam
- Setup
- $29 once for a build with a GPU fitted
- Term
- Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
- Traffic
- Unmetered port, no egress charge
- GPU access
- PCIe passthrough to your own OS, root, no hypervisor
- Delivery
- About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
- Not included
- NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules
Başka yerlerde
Diğer GPU soruları
Önce GPU'yu, sonra altındaki makineyi seçin
Şimdi bir A100 veya H100 sunucu yapılandırın ya da sohbette modeli ve yığın boyutunu bize söyleyin. Yapay zekamız saniyeler içinde yanıt verir, siz istediğinizde bir kişi katılır.