GPU ve Yapay Zeka · Uçta çıkarım

Çıplak donanım üzerinde TPU sunucusu.Yalnızca size ait bir Xeon makinede, bir Hailo-8 veya Coral Edge TPU.

Server Room'te bir TPU sunucusu, M.2 yuvasında Hailo-8 veya Google Coral Edge TPU modülü bulunan bir HPE Moonshot kartuşudur; aylık kiralanır ve root erişimi sunar. Verilerinizin yanında int8 görüntü modelleri çalıştırır: Frigate altında kamera akışlarında nesne algılama veya satıcı çalışma zamanında kendi kodunuz. Bu, yalnızca Google'ın kiraladığı bir Google Cloud TPU değildir ve büyük dil modellerini eğitmez ya da sunmaz.

  • Makine başına tek kiracı
  • m710x ve m510 üzerinde M.2 seçeneği
  • Root ve uzak konsol
  • Kendi ağınız, AS19624

Ana kartuşu seçin, yapılandırıcıda modülü işaretleyin, ardından seçtiğiniz sisteme satıcı çalışma zamanını kurun. Hailo, Hailo-8'i 26 TOPS'a kadar derecelendirir ve araç zincirini güncel tutar. Google, Coral'ı 4 TOPS olarak derecelendirir ve bu, Edge TPU için halihazırda kurulmuş hatlara uygundur.

Tanım

TPU sunucusu nedir ve ne değildir

TPU, tensör işlem birimi anlamına gelir; Google'ın kendi matris hızlandırıcılarına verdiği addır. Bu adı taşıyan çok farklı iki parça vardır. Cloud TPU'lar, modelleri eğitmek ve sunmak için kullanılan büyük çiplerdir ve Google bunları yalnızca Google Cloud içinde kiralar. Edge TPU ise küçük olandır: yaklaşık iki watt, yalnızca tam sayılar, bir kamera veya sensör akışının yanında derlenmiş bir görüntü modelini çalıştırmak için üretilmiştir.

Biz küçük türü ve en yakın rakibi Hailo-8'i, özel bir sunucunun içinde M.2 modülü olarak kiralıyoruz. Her ikisi de uç yapay zeka hızlandırıcısıdır: önceden eğitilmiş ve int8'e nicemlenmiş bir sinir ağını çalıştırırlar, başka hiçbir şey yapmazlar.

Şunlar için boyutlandırılmıştır

Video karelerinde nesne algılama, görüntü sınıflandırma, bölütleme ve poz tahmini. MobileNet, EfficientDet-Lite ve YOLO ailelerinden, int8'e nicemlenmiş ve modül için derlenmiş ağlar, veriler makinenizden ayrılmadan bir kareyi puanlar.

Şunlar için boyutlandırılmamıştır

Her türlü eğitim. Herhangi bir nicemlemede dil modelleri: hiçbir modül milyarlarca parametreyi tutamaz. Nicemlenmeyen Float32 modelleri ve satıcı derleyicisinin desteklemediği katmanlar, işlemciye geri düşer veya derlenemez.

Bunların yerine gidecekleri yerler

Bir dil modelini boyutlandırmak LLM barındırmanın işidir. Eğitim ve büyük çıkarım, makine başına özel bir GPU bulunan GPU özel sunucularında çalışır. Tek kutuda bir NPU ve geniş bir bellek havuzu ise Ryzen AI sunucularıdır.

İki M.2 modülü

Hailo-8 veya Coral Edge TPU

Her iki modül de satıcının kendi derleyicisi tarafından önceden derlenmiş bir int8 ağını alır. Derecelendirilmiş verimde, kabul ettikleri çerçevelerde ve Google Coral yazılımını arşivlediğinden beri yığını hâlâ kimin sürdürdüğü konusunda farklılık gösterirler.

Hailo-8 M.2 yapay zeka hızlandırma modülü, üstten görünüm
Sürdürülen araç zinciri

Hailo-8 M.2 modülü

Derecelendirme (Hailo'nun)
26 TOPS'a kadar, int8
Form faktörü
M.2 Key M, 22 × 42 mm, 2280'e uzanır
Arayüz
PCIe Gen 3
Model kaynakları
TensorFlow, TensorFlow Lite, ONNX, Keras, PyTorch
Araç zinciri
Dataflow Compiler, HailoRT, Model Zoo
Hailo-8 için çalışma zamanı
HailoRT 4.x, hailo8 dalı (4.24.0, Haziran 2026)
Seçenek fiyatı
$13.99/ay itibarıyla

Dataflow Compiler ağınızı nicemler ve bir HEF dosyasına derler; HailoRT ise bu dosyayı C++ veya Python'dan çalıştırır. hailo8 dalını kullanın: HailoRT 5.x ve master dalı yalnızca Hailo-10 ile Hailo-15'i destekler.

Edge TPU'lu Google Coral M.2 Hızlandırıcı
Google tarafından arşivlendi

Google Coral M.2 Hızlandırıcı

Derecelendirme (Google'ın)
4 TOPS, int8, watt başına 2 TOPS
İşlemci
Google Edge TPU
Model kaynakları
TensorFlow Lite, int8, Edge TPU Compiler aracılığıyla
Çalışma zamanı
libedgetpu ve PyCoral, son PyCoral sürümü 2.0.0 (Temmuz 2021)
Bakım
Google depoları arşivlendi; bugün topluluk çatalları derliyor
Seçenek fiyatı
$13.99/ay itibarıyla

Bir model ya Edge TPU için derlenir ya da derlenmez ve yerleşik görüntü modelleri derlenir. Google; libedgetpu, PyCoral ve Edge TPU depolarını arşivledi, bu nedenle güncel çekirdekler ve Python sürümleri çalışma zamanının ve PCIe sürücüsünün topluluk çatallarına dayanır. Modelleriniz zaten bir Edge TPU'da çalışıyorsa bunu seçin. Yeni bir proje için Hailo-8 ile başlayın.

Verim rakamları her üreticinin kendi derecelendirmesidir. Kendi kıyaslamamızı yayınlamıyoruz: saniyedeki kare sayısı modelinize, girdi boyutuna ve yığına bağlıdır.

Veri yolu

Tek bir makinede yük boşaltma nasıl çalışır?

Xeon yine videoyu çözer, her kareyi yeniden boyutlandırır ve uygulamanızı çalıştırır. Modül yalnızca sinir ağını üstlenir, böylece çekirdekler çevresindeki iş için serbest kalır. m710x üzerinde işlemcinin Iris Pro P580 grafik birimi Quick Sync ile videoyu donanımda çözebilir; bu da dört çekirdeğini geri kalan işlere bırakır.

Yazılım

Üzerinde ne çalışır, Frigate dahil

Frigate, bu modüllerden birini bir sunucuya koymanın en yaygın nedenidir. Açık kaynaklı bir NVR'dir: kameralarınızdan RTSP çeker, her akışın düşük çözünürlüklü bir kopyasında nesne algılayıcı çalıştırır ve algılayıcının işaretlediği klipleri kaydeder. Frigate 0.16 her modül için bir algılayıcı taşır, böylece kareler kiraladığınız makinede puanlanır.

İki Frigate algılayıcısı

Hailo-8
algılayıcı hailo8l, aygıt PCIe; Hailo-8 ve 8L bunu paylaşır
Coral
algılayıcı edgetpu, M.2 modülü için aygıt pci
Modeller
Hailo-8 üzerinde YOLOv9, YOLOv6n ve SSD MobileNet; Coral üzerinde YOLOv9'un elle dönüştürülmesi gerekir
Frigate'in süreleri
Hailo-8L üzerinde ölçülen, 320 × 320 çözünürlükte SSD MobileNet v1 için kare başına yaklaşık 10 ms ve YOLOv9-tiny için yaklaşık 18 ms; Coral için yaklaşık 10 ms

Hailo desteği Frigate deposuna 0.16 sürümünde ulaştı. Frigate'in kendi donanım sayfası artık yeni bir kurulum için Coral'ı önermiyor. Yeni bir projeye Hailo-8 ile başlayın ve Coral'ı Edge TPU için önceden derlenmiş modeller için saklayın.

Kameraları boyutlandırma

Algılama her karede çalışmaz. Frigate, algılama akışında kamera başına saniyede birkaç kare puanlar ve kaydı yeniden kodlamadan kopyalar. Kareyi 10 ms'de puanlayan bir modül bu nedenle saniyede yüzlerce algılama için yeterlidir; bu, kameralarınız arasında bölünür.

Ana makine genellikle modülden önce tükenir. Xeon her akışı çözer ve yeniden boyutlandırır, bu nedenle çekirdekleri ve donanım çözücüsü kamera sayısını modül kadar belirler. Kayıtlar kartuşun kendi disklerine iner; diskler, bellek ve bağlantı noktası hızı aynı yapılandırıcıdaki satırlardır.

Kameralarınız yine de makineye ulaşmalıdır. Frigate ağ üzerinden RTSP çeker ve her makine bir sınırsız bağlantı noktasıyla gelir; bu nedenle gelen akışlar faturalandırılmaz. Kameraların bulunduğu yerden gelen bağlantı ve üzerinde çalıştığı tünel sizin düzenlemenize kalmıştır.

Çıkarım süreleri Frigate'in kendi modelleri için yayımladığı rakamlardır, bizim kıyaslamamız değildir. İşletim sistemini kurar ve size root veririz: Frigate, PCIe sürücüsü ve çalışma zamanı sizin kurup sabitleyeceğiniz şeylerdir.

Sipariş kataloğundan canlı

İki ana kartuş, ödeme sayfasının fiyatlandırdığı gibi

Modül, iki HPE Moonshot kartuşunda bir seçenek satırıdır: dört çekirdekli Xeon E3'lü m710x ve 8 veya 16 çekirdekli Xeon D'li m510. Aşağıdaki her fiyat, o hattın giriş yapılandırmasıdır ve modül üzerine eklenen bir satırdır.

HPE ProLiant m710x

Intel Xeon E3-1585L v5

Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Makine, giriş yapılandırması
$62.58/ay
+ Google Coral Edge TPU
$13.99/ay
+ Hailo-8
$13.99/ay
Kurulum, tek seferlik
$29
Şehirler
New York, Bucharest, San Francisco, Amsterdam, Miami

Bucharest, Amsterdam içinde aynı rakamlarla euro üzerinden faturalandırılır.

m710x'i yapılandır

HPE ProLiant m510

Intel Xeon D-1548 / Intel Xeon D-1587

Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Makine, giriş yapılandırması
$62.58/ay
+ Google Coral Edge TPU
$13.99/ay
+ Hailo-8
$13.99/ay
Kurulum, tek seferlik
$29
Şehirler
New York, Miami, Bucharest, Amsterdam, San Francisco

Bucharest, Amsterdam içinde aynı rakamlarla euro üzerinden faturalandırılır.

m510'u yapılandır

Bir modül makineyi değiştirir, bu nedenle sipariş özel bir yapıdır ve gösterilen tek seferlik kurulum ücretini taşır. Bellek, diskler, bağlantı noktası hızı ve faturalandırma dönemi aynı yapılandırıcıda belirlenir; ödeme yapmadan önce nihai aylık toplamı gösterir.

Kurulum

Siparişten ilk çıkarıma

İşletim sistemini kurar ve size root veririz. Satıcı çalışma zamanı önceden kurulu değildir, bu nedenle sürümünü siz seçip sabitlersiniz.

  1. Ana makineyi yapılandırın. m710x veya m510 yapılandırıcısını açın, Hailo-8 veya Coral'ı işaretleyin ve işletim sistemini seçin.
  2. Modülün veri yolunda olduğunu kontrol edin. lspci -nn | grep -Ei '1e60|1ac1' komutunu çalıştırın. Hailo-8 1e60:2864 olarak, Coral ise 1ac1:089a olarak görünür.
  3. Hailo-8: PCIe sürücüsünü ve HailoRT'yi 4.x hattından kurun (hailo-ai/hailort deposunun hailo8 dalı veya Hailo'nun Developer Zone paketleri), ardından modülün donanım yazılımını ve seri numarasını okumak için hailortcli fw-control identify komutunu çalıştırın.
  4. Coral: gasket ve apex PCIe sürücüsünü ve libedgetpu'yu bakımı yapılan bir çataldan derleyin, sürücüyü yükleyin ve ilk modelinizi çalıştırmadan önce /dev/apex_0 dosyasının var olduğunu kontrol edin.
  5. Sürümleri sabitleyin. Çekirdeği, sürücüyü ve çalışma zamanını birlikte çalışan sürümlerde tutun. Bizim tarafımızda hiçbir şey makineyi arkanızdan güncellemez.

Yanıtlar

TPU sunucusu soruları

TPU sunucusu nedir?

Kendisine bağlı bir tensör işleme birimi bulunan bir sunucudur. Server Room'te bu, M.2 yuvasında Google Coral Edge TPU veya Hailo-8 bulunan, görü modellerinde int8 çıkarım için kullanılan özel bir HPE Moonshot kartuşudur. Google'ın Cloud TPU'ları farklı ve çok daha büyük bir çiptir; yalnızca Google Cloud içinde kiralanır.

Sizden bir Google Cloud TPU kiralayabilir miyim?

Hayır. Cloud TPU'lar yalnızca Google Cloud'da bulunur ve hiçbir barındırma şirketi bunları rafa koyamaz. Kontrol ettiğiniz donanımda büyük modelleri eğitmek veya sunmak için, her makinede özel bir GPU bulunan GPU özel sunucularımıza bakın.

Bir TPU sunucusunun maliyeti ne kadardır?

Hailo-8 veya Coral içeren eksiksiz bir makine ayda $76.57 fiyattan başlar. Modül, makinenin üzerine eklenen bir satırdır; Hailo-8 için ayda $13.99 fiyattan, Coral için $13.99 fiyattan başlar ve sipariş $29 fiyattan başlayan tek seferlik bir kurulum ücreti taşır. Yukarıdaki ana kartlar her fiyatın hangi makineye ait olduğunu gösterir.

Hailo-8 mi yoksa Coral Edge TPU mu: hangisini seçmeliyim?

Hailo, Hailo-8'i 26 TOPS'a kadar, Google ise Coral'ı 4 TOPS olarak derecelendirir; her ikisi de int8 üzerinde. Hailo-8'in ayrıca bakımı yapılan yazılımı vardır: HailoRT 4.24.0 Haziran 2026'da çıktı, Google ise Coral depolarını arşivledi. Modelleriniz zaten bir Edge TPU üzerinde çalışıyorsa Coral'ı seçin.

Bir TPU sunucusunda Frigate NVR çalıştırabilir miyim?

Evet. Frigate 0.16 her iki modül için de bir algılayıcıya sahiptir: Hailo-8 için aygıt PCIe olarak ayarlanmış hailo8l algılayıcısı ve Coral M.2 için aygıt pci olarak ayarlanmış edgetpu algılayıcısı. Frigate kamera başına saniyede birkaç kare puanlar, bu nedenle bir modül birkaç akışa hizmet eder. İşletim sistemini kurar ve size root veririz; Frigate, PCIe sürücüsü ve çalışma zamanı sizin kurup sabitleyeceğiniz şeylerdir.

Bir TPU sunucusu bir LLM çalıştırabilir mi?

Hayır. Hiçbir nicelemede iki modül de milyarlarca parametreli bir modeli tutamaz. Modeli LLM barındırma sayfamızda boyutlandırın, ardından bir GPU özel sunucusunda veya Ryzen AI makinelerimizden birinde çalıştırın.

Hangi işletim sistemleri ve sürücüler çalışır?

Yapılandırıcının kartuş için sunduğu herhangi bir sistem kurulabilir. HailoRT Linux ve Windows için derlenmiştir; Coral çalışma zamanı ve topluluk çatalları Linux'u hedefler. Sistemi biz kurarız, çalışma zamanını siz seçtiğiniz sürümde kurarsınız.

TPU sunucularınız nerede bulunuyor?

TPU sunucuları şu şehirlerde satılır: New York, Bucharest, San Francisco, Amsterdam, Miami. Kendi ağımız olan AS19624 üzerinde çalışırlar. Bu şehirlerdeki siparişler aynı rakamlarla euro üzerinden faturalandırılır: Bucharest, Amsterdam.

TPU diğer müşterilerle paylaşılıyor mu?

Hayır. Modül kartuşunuzun içinde bulunur ve makinenin tek kiracısı vardır. Root ve uzak konsol size verilir; başka hiçbir müşterinin iş yükü üzerinde çalışmaz.

Bir kartuş seçin, modülü işaretleyin

Sipariş vermeden önce sorularınız mı var? Sohbet yapay zekamız saniyeler içinde yanıtlar ve hesabınızı ve sunucularınızı kontrol edebilir; istediğiniz anda bir kişi devralır.

Bir m710x yapılandır