GPU și AI · Inferență la margine

Server TPU pe bare metal.Un Hailo-8 sau un Coral Edge TPU, într-o mașină Xeon care este doar a ta.

Un server TPU la Server Room este un cartuș HPE Moonshot cu un modul Hailo-8 sau Google Coral Edge TPU în slotul său M.2, închiriat lunar cu acces root. Rulează modele de vedere int8 lângă datele tale: detecție de obiecte pe fluxuri video sub Frigate, sau propriul tău cod pe runtime-ul furnizorului. Nu este un Google Cloud TPU, pe care doar Google îl închiriază, și nu antrenează și nu servește modele de limbaj mari.

  • Un singur chiriaș pe mașină
  • Opțiune M.2 pe m710x și m510
  • Root și consolă la distanță
  • Rețea proprie, AS19624

Alege cartușul gazdă, bifează modulul în configurator, apoi instalează runtime-ul furnizorului pe sistemul ales. Hailo evaluează Hailo-8 la până la 26 TOPS și își menține lanțul de instrumente actualizat. Google evaluează Coral la 4 TOPS, iar acesta se potrivește pipeline-urilor deja construite pentru Edge TPU.

Definiție

Ce este un server TPU și ce nu este

TPU înseamnă unitate de procesare tensorială, numele pe care Google l-a dat propriilor acceleratoare matriceale. Două componente foarte diferite poartă acest nume. TPU-urile Cloud sunt cipuri mari pentru antrenarea și servirea modelelor, iar Google le închiriază doar în interiorul Google Cloud. Edge TPU este cel mic: aproximativ doi wați, doar numere întregi, construit pentru a rula un model de vedere compilat lângă o cameră sau un flux de senzori.

Închiriem tipul mic și cel mai apropiat rival al său, Hailo-8, ca modul M.2 în interiorul unui server dedicat. Ambele sunt acceleratoare AI de margine: rulează o rețea neuronală deja antrenată și cuantizată la int8, și nu fac nimic altceva.

Dimensional pentru

Detecție de obiecte pe cadre video, clasificare de imagini, segmentare și estimare de poziție. Rețelele din familiile MobileNet, EfficientDet-Lite și YOLO, cuantizate la int8 și compilate pentru modul, evaluează un cadru fără ca datele să părăsească mașina ta.

Nu este dimensional pentru

Antrenare de orice fel. Modele de limbaj, la orice cuantizare: niciun modul nu poate stoca miliarde de parametri. Modele Float32 care nu se cuantizează și straturi pe care compilatorul furnizorului nu le suportă, care revin la procesor sau nu se compilează.

Unde merg acestea în schimb

Dimensionalizarea unui model de limbaj este treaba găzduirii LLM. Antrenarea și inferența mare rulează pe servere dedicate GPU, cu un GPU dedicat pe mașină. Un NPU și un pool mare de memorie într-o singură cutie sunt servere Ryzen AI.

Cele două module M.2

Hailo-8 sau Coral Edge TPU

Ambele module preiau o rețea int8 compilată în prealabil de compilatorul propriu al furnizorului. Diferă în debitul evaluat, în framework-urile pe care le acceptă și, deoarece Google a arhivat software-ul Coral, în cine mai întreține stiva.

Modul de accelerare AI Hailo-8 M.2, vedere de sus
Lanț de instrumente întreținut

Modul Hailo-8 M.2

Evaluare (a Hailo)
până la 26 TOPS, int8
Factor de formă
M.2 Key M, 22 × 42 mm, se extinde la 2280
Interfață
PCIe Gen 3
Surse de modele
TensorFlow, TensorFlow Lite, ONNX, Keras, PyTorch
Lanț de instrumente
Dataflow Compiler, HailoRT, Model Zoo
Runtime pentru Hailo-8
HailoRT 4.x, ramura hailo8 (4.24.0, iunie 2026)
Preț opțiune
de la $13.99/lună

Dataflow Compiler cuantizează rețeaua ta și o compilează într-un fișier HEF, iar HailoRT rulează acel fișier din C++ sau Python. Folosește ramura hailo8: HailoRT 5.x și ramura master suportă doar Hailo-10 și Hailo-15.

Accelerator Google Coral M.2 cu Edge TPU
Arhivat de Google

Accelerator Google Coral M.2

Evaluare (a Google)
4 TOPS, int8, la 2 TOPS pe watt
Procesor
Google Edge TPU
Surse de modele
TensorFlow Lite, int8, prin Edge TPU Compiler
Runtime
libedgetpu și PyCoral, ultima versiune PyCoral 2.0.0 (iulie 2021)
Întreținere
Depozitele Google arhivate; fork-urile comunității le construiesc astăzi
Preț opțiune
de la $13.99/lună

Un model fie se compilează pentru Edge TPU, fie nu, iar modelele de vedere consacrate se compilează. Google a arhivat libedgetpu, PyCoral și depozitele Edge TPU, astfel că nucleele actuale și versiunile Python se bazează pe fork-uri comunitare ale runtime-ului și ale driverului PCIe. Alege-l când modelele tale rulează deja pe un Edge TPU. Pentru un proiect nou, începe pe Hailo-8.

Cifrele de debit sunt evaluarea fiecărui producător. Nu publicăm niciun benchmark propriu: cadrele pe secundă depind de modelul tău, de dimensiunea intrării și de lot.

Traseul datelor

Cum funcționează descărcarea în interiorul unei singure mașini

Xeon-ul decodează în continuare video-ul, redimensionează fiecare cadru și rulează aplicația ta. Modulul preia doar rețeaua neuronală, astfel încât nucleele rămân libere pentru munca din jurul ei. Pe m710x, placa grafică Iris Pro P580 a procesorului poate decoda video în hardware cu Quick Sync, ceea ce lasă cele patru nuclee pentru restul.

Software

Ce rulează pe el, inclusiv Frigate

Frigate este motivul obișnuit pentru a pune unul dintre aceste module într-un server. Este un NVR open-source: preia RTSP de la camerele tale, rulează un detector de obiecte pe o copie la rezoluție mică a fiecărui flux și înregistrează clipurile marcate de detector. Frigate 0.16 include câte un detector pentru fiecare modul, astfel încât cadrele sunt evaluate pe mașina pe care o închiriezi.

Cei doi detectori Frigate

Hailo-8
detector hailo8l, dispozitiv PCIe; Hailo-8 și 8L îl împart
Coral
detector edgetpu, dispozitiv pci pentru modulul M.2
Modele
YOLOv9, YOLOv6n și SSD MobileNet pe Hailo-8; pe Coral, YOLOv9 trebuie convertit manual
Timpii Frigate
aproximativ 10 ms pe cadru pentru SSD MobileNet v1 și aproximativ 18 ms pentru YOLOv9-tiny la 320 × 320, măsurați pe Hailo-8L; în jur de 10 ms pentru Coral

Suportul Hailo a ajuns în repository-ul Frigate în 0.16. Pagina de hardware a Frigate nu mai recomandă Coral pentru o instalare nouă. Începe un proiect nou pe Hailo-8 și păstrează Coral pentru modelele deja compilate pentru Edge TPU.

Dimensionarea camerelor

Detecția nu rulează pe fiecare cadru. Frigate evaluează câteva cadre pe secundă pentru fiecare cameră pe fluxul de detecție și copiază înregistrarea fără a o re-encoda. Un modul care evaluează un cadru în 10 ms este, prin urmare, bun pentru aproximativ o sută de detecții pe secundă, împărțite între camerele tale.

Gazda tinde să se epuizeze înaintea modulului. Xeon-ul decodează și redimensionează fiecare flux, astfel încât nucleele sale și decodorul hardware stabilesc numărul de camere la fel de mult ca modulul. Înregistrările ajung pe discurile proprii ale cartușului, iar discurile, memoria și viteza portului sunt linii în același configurator.

Camerele tale trebuie totuși să ajungă la mașină. Frigate preia RTSP prin rețea, iar fiecare mașină vine cu un port nemăsurat, astfel încât fluxurile de intrare nu sunt facturate; legătura de la locul unde sunt camerele și tunelul prin care rulează sunt de aranjat de tine.

Timpii de inferență sunt cifrele publicate de Frigate pentru propriile modele, nu un benchmark al nostru. Instalăm sistemul de operare și îți dăm root: Frigate, driverul PCIe și runtime-ul sunt de instalat și de fixat de tine.

În direct din catalogul de comenzi

Două cartușe gazdă, la prețul afișat la checkout

Modulul este o linie opțională pe două cartușe HPE Moonshot: m710x cu un Xeon E3 quad-core și m510 cu un Xeon D de 8 sau 16 nuclee. Fiecare preț de mai jos este configurația de bază a acelei linii, cu modulul ca o linie suplimentară.

HPE ProLiant m710x

Intel Xeon E3-1585L v5

Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Mașină, configurație de bază
$62.58/lună
+ Google Coral Edge TPU
$13.99/lună
+ Hailo-8
$13.99/lună
Configurare, o singură dată
$29
Orașe
New York, Bucharest, San Francisco, Amsterdam, Miami

Facturat în euro în Bucharest, Amsterdam, la aceleași cifre.

Configurează m710x

HPE ProLiant m510

Intel Xeon D-1548 / Intel Xeon D-1587

Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Mașină, configurație de bază
$62.58/lună
+ Google Coral Edge TPU
$13.99/lună
+ Hailo-8
$13.99/lună
Configurare, o singură dată
$29
Orașe
New York, Miami, Bucharest, Amsterdam, San Francisco

Facturat în euro în Bucharest, Amsterdam, la aceleași cifre.

Configurează m510

Un modul schimbă mașina, astfel încât comanda este o configurație personalizată și include taxa unică de configurare afișată. Memoria, discurile, viteza portului și perioada de facturare sunt toate stabilite în același configurator, care afișează totalul lunar final înainte de a plăti.

Configurarea

De la comandă la prima inferență

Instalăm sistemul de operare și îți dăm root. Runtime-ul furnizorului nu este preinstalat, astfel încât versiunea sa este alegerea ta de fixat.

  1. Configurează gazda. Deschide configuratorul m710x sau m510, bifează Hailo-8 sau Coral și alege sistemul de operare.
  2. Verifică dacă modulul este pe magistrală. Rulează lspci -nn | grep -Ei '1e60|1ac1'. Hailo-8 apare ca 1e60:2864, iar Coral ca 1ac1:089a.
  3. Hailo-8: instalează driverul PCIe și HailoRT din linia 4.x (ramura hailo8 a hailo-ai/hailort sau pachetele din Developer Zone ale Hailo), apoi rulează hailortcli fw-control identify pentru a citi firmware-ul și seria modulului.
  4. Coral: compilează driverul PCIe gasket și apex și libedgetpu dintr-un fork întreținut, încarcă driverul și verifică dacă /dev/apex_0 există înainte de a rula primul model.
  5. Fixează versiunile. Menține kernel-ul, driverul și runtime-ul la versiuni care funcționează împreună. Nimic din partea noastră nu actualizează mașina pe la spatele tău.

Răspunsuri

Întrebări despre serverele TPU

Ce este un server TPU?

Un server cu o unitate de procesare tensorială atașată. La Server Room este un cartuș HPE Moonshot dedicat cu un Google Coral Edge TPU sau un Hailo-8 pe slotul M.2, pentru inferență int8 pe modele de viziune. TPU-urile Cloud de la Google sunt un cip diferit și mult mai mare, închiriat doar în Google Cloud.

Pot închiria un Google Cloud TPU de la voi?

Nu. Cloud TPU-urile sunt disponibile doar în Google Cloud și nicio companie de hosting nu poate monta unul. Pentru antrenarea sau servirea modelelor mari pe hardware pe care îl controlezi, vezi serverele noastre dedicate cu GPU, unde fiecare mașină are un GPU dedicat.

Cât costă un server TPU?

O mașină completă cu Hailo-8 sau Coral pornește de la $76.57 pe lună. Modulul este o linie peste mașină, de la $13.99 pe lună pentru Hailo-8 și de la $13.99 pentru Coral, iar comanda include o taxă unică de configurare de la $29. Cardurile gazdă de mai sus arată cărei mașini îi aparține fiecare preț.

Hailo-8 sau Coral Edge TPU: pe care ar trebui să-l aleg?

Hailo evaluează Hailo-8 la până la 26 TOPS, iar Google evaluează Coral la 4 TOPS, ambele pe int8. Hailo-8 are și software întreținut: HailoRT 4.24.0 pentru el a apărut în iunie 2026, în timp ce Google a arhivat repository-urile Coral. Alege Coral când modelele tale rulează deja pe un Edge TPU.

Pot rula Frigate NVR pe un server TPU?

Da. Frigate 0.16 are câte un detector pentru ambele module: detectorul hailo8l cu dispozitivul setat pe PCIe pentru Hailo-8 și detectorul edgetpu cu dispozitivul setat pe pci pentru Coral M.2. Frigate evaluează câteva cadre pe secundă pentru fiecare cameră, astfel încât un modul deservește mai multe fluxuri. Instalăm sistemul de operare și îți dăm root; Frigate, driverul PCIe și runtime-ul sunt de instalat și de fixat de tine.

Poate un server TPU să ruleze un LLM?

Nu. Niciunul dintre module nu poate ține un model cu miliarde de parametri, la nicio cuantizare. Dimensionează modelul pe pagina noastră de găzduire LLM, apoi rulează-l pe un server dedicat cu GPU sau pe una dintre mașinile noastre Ryzen AI.

Ce sisteme de operare și drivere funcționează?

Orice sistem oferit de configurator pentru cartuș poate fi instalat. HailoRT este construit pentru Linux și Windows; runtime-ul Coral și fork-urile comunitare vizează Linux. Noi instalăm sistemul, iar tu instalezi runtime-ul la versiunea pe care o alegi.

Unde sunt localizate serverele voastre TPU?

Serverele TPU sunt vândute în aceste orașe: New York, Bucharest, San Francisco, Amsterdam, Miami. Rulează pe rețeaua noastră proprie, AS19624. Comenzile din aceste orașe sunt facturate în euro, la aceleași cifre: Bucharest, Amsterdam.

Este TPU-ul partajat cu alți clienți?

Nu. Modulul se află în interiorul cartușului tău, iar mașina are un singur chiriaș. Primești root și consola remote, iar nicio sarcină de lucru a altui client nu rulează pe ea.

Alege un cartuș, bifează modulul

Întrebări înainte de a comanda? AI-ul nostru de chat răspunde în câteva secunde și poate verifica contul și serverele tale, iar o persoană preia oricând ceri.

Configurează un m710x