GPU i AI · Inferencja brzegowa

Serwer TPU na gołym metalu.Hailo-8 lub Coral Edge TPU w maszynie Xeon, która należy wyłącznie do Ciebie.

Serwer TPU w Server Room to kaseta HPE Moonshot z modułem Hailo-8 lub Google Coral Edge TPU w slocie M.2, wynajmowana miesięcznie z dostępem root. Uruchamia modele wizyjne int8 obok Twoich danych: detekcję obiektów na strumieniach z kamer pod Frigate lub Twój własny kod na środowisku uruchomieniowym producenta. To nie jest Google Cloud TPU, który wynajmuje wyłącznie Google, i nie służy do trenowania ani obsługi dużych modeli językowych.

  • Jeden najemca na maszynę
  • Opcja M.2 w m710x i m510
  • Root i zdalna konsola
  • Własna sieć, AS19624

Wybierz kasetę bazową, zaznacz moduł w konfiguratorze, a następnie zainstaluj środowisko uruchomieniowe producenta na wybranym systemie. Hailo ocenia Hailo-8 na maksymalnie 26 TOPS i stale aktualizuje swój łańcuch narzędziowy. Google ocenia Coral na 4 TOPS, co pasuje do potoków zbudowanych już pod Edge TPU.

Definicja

Czym jest serwer TPU, a czym nie jest

TPU to skrót od tensor processing unit, nazwy, którą Google nadał swoim akceleratorom macierzowym. Tę nazwę noszą dwa bardzo różne układy. Cloud TPU to duże chipy do trenowania i obsługi modeli, które Google wynajmuje wyłącznie w Google Cloud. Edge TPU to ten mały: około dwóch watów, wyłącznie liczby całkowite, zbudowany do uruchamiania skompilowanego modelu wizyjnego obok kamery lub strumienia z czujnika.

Wynajmujemy ten mały rodzaj oraz jego najbliższego rywala, Hailo-8, jako moduł M.2 wewnątrz serwera dedykowanego. Oba to brzegowe akceleratory AI: uruchamiają sieć neuronową, która została już wytrenowana i skwantyzowana do int8, i nie robią nic więcej.

Przeznaczony do

Detekcji obiektów na klatkach wideo, klasyfikacji obrazów, segmentacji i estymacji pozy. Sieci z rodzin MobileNet, EfficientDet-Lite i YOLO, skwantyzowane do int8 i skompilowane pod moduł, oceniają klatkę bez opuszczania Twojej maszyny przez dane.

Nieprzeznaczony do

Trenowania jakiegokolwiek rodzaju. Modeli językowych, przy dowolnej kwantyzacji: żaden moduł nie pomieści miliardów parametrów. Modeli Float32, które się nie kwantyzują, oraz warstw, których kompilator producenta nie obsługuje, a które spadają na procesor lub nie kompilują się wcale.

Gdzie one trafiają zamiast tego

Dobór rozmiaru modelu językowego to zadanie hostingu LLM. Trenowanie i duża inferencja działają na serwerach dedykowanych GPU, z dedykowanym GPU na maszynę. NPU i duża pula pamięci w jednej obudowie to serwery Ryzen AI.

Dwa moduły M.2

Hailo-8 lub Coral Edge TPU

Oba moduły przyjmują sieć int8 skompilowaną wcześniej przez kompilator własny producenta. Różnią się deklarowaną przepustowością, obsługiwanymi frameworkami oraz — odkąd Google zarchiwizował oprogramowanie Coral — tym, kto nadal utrzymuje stos.

Moduł akceleracji AI Hailo-8 M.2, widok z góry
Utrzymywany łańcuch narzędziowy

Moduł Hailo-8 M.2

Ocena (wg Hailo)
do 26 TOPS, int8
Format
M.2 Key M, 22 × 42 mm, rozszerzalny do 2280
Interfejs
PCIe Gen 3
Źródła modeli
TensorFlow, TensorFlow Lite, ONNX, Keras, PyTorch
Łańcuch narzędziowy
Dataflow Compiler, HailoRT, Model Zoo
Środowisko uruchomieniowe dla Hailo-8
HailoRT 4.x, gałąź hailo8 (4.24.0, czerwiec 2026)
Cena opcji
od $13.99/mies.

Dataflow Compiler kwantyzuje Twoją sieć i kompiluje ją do pliku HEF, a HailoRT uruchamia ten plik z C++ lub Pythona. Użyj gałęzi hailo8: HailoRT 5.x i gałąź master obsługują wyłącznie Hailo-10 i Hailo-15.

Akcelerator Google Coral M.2 z Edge TPU
Zarchiwizowany przez Google

Akcelerator Google Coral M.2

Ocena (wg Google)
4 TOPS, int8, przy 2 TOPS na wat
Procesor
Google Edge TPU
Źródła modeli
TensorFlow Lite, int8, przez Edge TPU Compiler
Środowisko uruchomieniowe
libedgetpu i PyCoral, ostatnie wydanie PyCoral 2.0.0 (lipiec 2021)
Utrzymanie
Repozytoria Google zarchiwizowane; dziś budują je forki społecznościowe
Cena opcji
od $13.99/mies.

Model albo kompiluje się pod Edge TPU, albo nie, a uznane modele wizyjne się kompilują. Google zarchiwizował libedgetpu, PyCoral i repozytoria Edge TPU, więc obecne jądra i wersje Pythona polegają na forkach społecznościowych środowiska uruchomieniowego i sterownika PCIe. Wybierz go, gdy Twoje modele już działają na Edge TPU. Do nowego projektu zacznij od Hailo-8.

Wartości przepustowości to oceny własne każdego producenta. Nie publikujemy własnych benchmarków: liczba klatek na sekundę zależy od Twojego modelu, rozmiaru wejścia i partii.

Ścieżka danych

Jak działa odciążanie w obrębie jednej maszyny

Xeon nadal dekoduje wideo, zmienia rozmiar każdej klatki i uruchamia Twoją aplikację. Moduł przejmuje sieć neuronową i nic poza tym, więc rdzenie pozostają wolne dla pracy wokół niej. W modelu m710x zintegrowana grafika procesora Iris Pro P580 potrafi dekodować wideo sprzętowo dzięki Quick Sync, co zostawia cztery rdzenie dla reszty zadań.

Oprogramowanie

Co na nim działa, w tym Frigate

Frigate to najczęstszy powód, dla którego umieszcza się jeden z tych modułów w serwerze. To otwartoźródłowy rejestrator NVR: pobiera RTSP z Twoich kamer, uruchamia detektor obiektów na kopii każdego strumienia w niskiej rozdzielczości i nagrywa klipy oznaczone przez detektor. Frigate 0.16 zawiera detektor dla każdego modułu, więc klatki są oceniane na maszynie, którą wynajmujesz.

Dwa detektory Frigate

Hailo-8
detektor hailo8l, urządzenie PCIe; Hailo-8 i 8L współdzielą go
Coral
detektor edgetpu, urządzenie pci dla modułu M.2
Modele
YOLOv9, YOLOv6n i SSD MobileNet na Hailo-8; na Coral YOLOv9 trzeba przekonwertować ręcznie
Czasy Frigate
około 10 ms na klatkę dla SSD MobileNet v1 i około 18 ms dla YOLOv9-tiny przy 320 × 320, zmierzone na Hailo-8L; około 10 ms dla Coral

Wsparcie dla Hailo trafiło do repozytorium Frigate w wersji 0.16. Strona sprzętowa Frigate nie zaleca już Coral do nowych instalacji. Rozpocznij nowy projekt na Hailo-8, a Coral zachowaj dla modeli już skompilowanych pod Edge TPU.

Dobór liczby kamer

Detekcja nie działa na każdej klatce. Frigate ocenia kilka klatek na sekundę na kamerę na strumieniu detekcji i kopiuje nagranie bez ponownego kodowania. Moduł, który ocenia klatkę w 10 ms, wystarcza więc na rząd wielkości stu detekcji na sekundę, rozdzielonych między Twoje kamery.

Host zwykle wyczerpuje się przed modułem. Xeon dekoduje i zmienia rozmiar każdego strumienia, więc jego rdzenie i sprzętowy dekoder wyznaczają liczbę kamer w takim samym stopniu jak moduł. Nagrania trafiają na własne dyski kartridża, a dyski, pamięć i prędkość portu to pozycje w tym samym konfiguratorze.

Twoje kamery nadal muszą docierać do maszyny. Frigate pobiera RTSP przez sieć, a każda maszyna jest dostarczana z portem nielimitowanym, więc strumienie przychodzące nie są rozliczane; łącze z miejsca, w którym są kamery, oraz tunel, po którym biegnie, są po Twojej stronie do zorganizowania.

Czasy inferencji to opublikowane przez Frigate wartości dla jego własnych modeli, a nie nasz benchmark. Instalujemy system operacyjny i przekazujemy Ci roota: Frigate, sterownik PCIe i środowisko uruchomieniowe są do zainstalowania i przypięcia przez Ciebie.

Na żywo z katalogu zamówień

Dwa kartridże hosta, wycenione tak, jak wycenia je kasa

Moduł jest pozycją opcjonalną na dwóch kartridżach HPE Moonshot: m710x z czterordzeniowym Xeonem E3 oraz m510 z 8- lub 16-rdzeniowym Xeonem D. Każda cena poniżej to podstawowa konfiguracja danej linii, z modułem jako jedną pozycją na wierzchu.

HPE ProLiant m710x

Intel Xeon E3-1585L v5

Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Maszyna, konfiguracja podstawowa
$62.58/mies.
+ Google Coral Edge TPU
$13.99/mies.
+ Hailo-8
$13.99/mies.
Opłata instalacyjna, jednorazowo
$29
Miasta
New York, Bucharest, San Francisco, Amsterdam, Miami

Rozliczane w euro w Bucharest, Amsterdam, według tych samych kwot.

Skonfiguruj m710x

HPE ProLiant m510

Intel Xeon D-1548 / Intel Xeon D-1587

Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Maszyna, konfiguracja podstawowa
$62.58/mies.
+ Google Coral Edge TPU
$13.99/mies.
+ Hailo-8
$13.99/mies.
Opłata instalacyjna, jednorazowo
$29
Miasta
New York, Miami, Bucharest, Amsterdam, San Francisco

Rozliczane w euro w Bucharest, Amsterdam, według tych samych kwot.

Skonfiguruj m510

Moduł zmienia maszynę, więc zamówienie jest konfiguracją niestandardową i obejmuje pokazaną jednorazową opłatę instalacyjną. Pamięć, dyski, prędkość portu i okres rozliczeniowy ustawia się w tym samym konfiguratorze, który pokazuje ostateczną miesięczną sumę przed zapłatą.

Konfiguracja

Od zamówienia do pierwszej inferencji

Instalujemy system operacyjny i przekazujemy Ci roota. Środowisko uruchomieniowe producenta nie jest preinstalowane, więc jego wersję wybierasz i przypinasz samodzielnie.

  1. Skonfiguruj hosta. Otwórz konfigurator m710x lub m510, zaznacz Hailo-8 lub Coral i wybierz system operacyjny.
  2. Sprawdź, czy moduł jest na magistrali. Uruchom lspci -nn | grep -Ei '1e60|1ac1'. Hailo-8 widnieje jako 1e60:2864, a Coral jako 1ac1:089a.
  3. Hailo-8: zainstaluj sterownik PCIe i HailoRT z linii 4.x (gałąź hailo8 repozytorium hailo-ai/hailort lub pakiety ze strefy deweloperskiej Hailo), a następnie uruchom hailortcli fw-control identify, aby odczytać firmware i numer seryjny modułu.
  4. Coral: zbuduj sterownik PCIe gasket i apex oraz libedgetpu z utrzymywanego forka, załaduj sterownik i sprawdź, czy /dev/apex_0 istnieje, zanim uruchomisz swój pierwszy model.
  5. Przypnij wersje. Utrzymuj jądro, sterownik i środowisko uruchomieniowe w wersjach, które ze sobą współpracują. Nic po naszej stronie nie aktualizuje maszyny za Twoimi plecami.

Odpowiedzi

Pytania o serwer TPU

Czym jest serwer TPU?

Serwer z dołączoną jednostką przetwarzania tensorowego. W Server Room to dedykowany kartridż HPE Moonshot z Google Coral Edge TPU lub Hailo-8 w slocie M.2, przeznaczony do inferencji int8 na modelach wizyjnych. Cloud TPU Google to inny, znacznie większy układ, wynajmowany wyłącznie wewnątrz Google Cloud.

Czy mogę wynająć od Was Google Cloud TPU?

Nie. Cloud TPU są dostępne tylko w Google Cloud i żadna firma hostingowa nie może ich postawić w swojej szafie. Do trenowania lub serwowania dużych modeli na sprzęcie, który kontrolujesz, zobacz nasze serwery dedykowane GPU, gdzie każda maszyna ma dedykowane GPU.

Ile kosztuje serwer TPU?

Kompletna maszyna z Hailo-8 lub Coral zaczyna się od $76.57 miesięcznie. Moduł to jedna pozycja na wierzchu maszyny, od $13.99 miesięcznie za Hailo-8 i od $13.99 za Coral, a zamówienie obejmuje jednorazową opłatę instalacyjną od $29. Powyższe karty hostów pokazują, do której maszyny należy każda cena.

Hailo-8 czy Coral Edge TPU: co wybrać?

Hailo ocenia Hailo-8 na maksymalnie 26 TOPS, a Google ocenia Coral na 4 TOPS, oba na int8. Hailo-8 ma również utrzymywane oprogramowanie: HailoRT 4.24.0 dla niego ukazał się w czerwcu 2026, podczas gdy Google zarchiwizowało repozytoria Coral. Wybierz Coral, gdy Twoje modele już działają na Edge TPU.

Czy mogę uruchomić Frigate NVR na serwerze TPU?

Tak. Frigate 0.16 ma detektor dla obu modułów: detektor hailo8l z urządzeniem ustawionym na PCIe dla Hailo-8 oraz detektor edgetpu z urządzeniem ustawionym na pci dla Coral M.2. Frigate ocenia kilka klatek na sekundę na kamerę, więc jeden moduł obsługuje kilka strumieni. Instalujemy system operacyjny i przekazujemy Ci roota; Frigate, sterownik PCIe i środowisko uruchomieniowe są do zainstalowania i przypięcia przez Ciebie.

Czy serwer TPU może uruchomić LLM?

Nie. Żaden z modułów nie pomieści modelu z miliardami parametrów, przy jakiejkolwiek kwantyzacji. Dobierz rozmiar modelu na naszej stronie hostingu LLM, a następnie uruchom go na serwerze dedykowanym GPU lub na jednej z naszych maszyn Ryzen AI.

Które systemy operacyjne i sterowniki działają?

Można zainstalować dowolny system oferowany przez konfigurator dla danego kartridża. HailoRT jest zbudowany dla Linuksa i Windows; środowisko Coral i jego forki społecznościowe celują w Linuksa. My instalujemy system, a Ty instalujesz środowisko uruchomieniowe w wybranej przez siebie wersji.

Gdzie znajdują się Wasze serwery TPU?

Serwery TPU są sprzedawane w tych miastach: New York, Bucharest, San Francisco, Amsterdam, Miami. Działają w naszej własnej sieci, AS19624. Zamówienia w tych miastach są rozliczane w euro, według tych samych kwot: Bucharest, Amsterdam.

Czy TPU jest współdzielone z innymi klientami?

Nie. Moduł znajduje się wewnątrz Twojego kartridża, a maszyna ma jednego najemcę. Otrzymujesz roota i zdalną konsolę, a żadne obciążenie innego klienta na niej nie działa.

Wybierz kartridż, zaznacz moduł

Masz pytania przed złożeniem zamówienia? Nasz czat AI odpowiada w kilka sekund i może sprawdzić Twoje konto oraz serwery, a człowiek przejmuje rozmowę, kiedy tylko poprosisz.

Skonfiguruj m710x