GPU και AI · Edge inference

TPU server σε bare metal.Ένα Hailo-8 ή ένα Coral Edge TPU, σε ένα μηχάνημα Xeon που είναι αποκλειστικά δικό σας.

Ένας TPU server στη Server Room είναι μια κασέτα HPE Moonshot με μια μονάδα Hailo-8 ή Google Coral Edge TPU στην υποδοχή M.2 της, με μηνιαία μίσθωση και πρόσβαση root. Εκτελεί μοντέλα όρασης int8 δίπλα στα δεδομένα σας: ανίχνευση αντικειμένων σε ροές κάμερας με το Frigate, ή τον δικό σας κώδικα στο runtime του κατασκευαστή. Δεν είναι ένα Google Cloud TPU, το οποίο νοικιάζει μόνο η Google, και δεν εκπαιδεύει ούτε εξυπηρετεί μεγάλα γλωσσικά μοντέλα.

  • Ένας μισθωτής ανά μηχάνημα
  • Επιλογή M.2 σε m710x και m510
  • Root και απομακρυσμένη κονσόλα
  • Δικό σας δίκτυο, AS19624

Επιλέξτε την κασέτα φιλοξενίας, τσεκάρετε τη μονάδα στον διαμορφωτή και εγκαταστήστε το runtime του κατασκευαστή στο σύστημα που διαλέξατε. Η Hailo βαθμολογεί το Hailo-8 έως και 26 TOPS και διατηρεί την αλυσίδα εργαλείων της ενημερωμένη. Η Google βαθμολογεί το Coral στα 4 TOPS, και ταιριάζει σε pipelines που έχουν ήδη χτιστεί για το Edge TPU.

Ορισμός

Τι είναι ένας TPU server, και τι δεν είναι

TPU σημαίνει tensor processing unit, το όνομα που έδωσε η Google στους δικούς της επιταχυντές πινάκων. Δύο πολύ διαφορετικά εξαρτήματα φέρουν το όνομα. Τα Cloud TPU είναι μεγάλα τσιπ για εκπαίδευση και εξυπηρέτηση μοντέλων, και η Google τα νοικιάζει μόνο μέσα στο Google Cloud. Το Edge TPU είναι το μικρό: περίπου δύο watt, μόνο ακέραιοι αριθμοί, φτιαγμένο για να εκτελεί ένα μεταγλωττισμένο μοντέλο όρασης δίπλα σε μια κάμερα ή μια ροή αισθητήρα.

Εμείς νοικιάζουμε το μικρό είδος και τον πιο κοντινό του αντίπαλο, το Hailo-8, ως μονάδα M.2 μέσα σε έναν dedicated server. Και τα δύο είναι επιταχυντές edge AI: εκτελούν ένα νευρωνικό δίκτυο που έχει ήδη εκπαιδευτεί και κβαντιστεί σε int8, και δεν κάνουν τίποτε άλλο.

Κατάλληλο για

Ανίχνευση αντικειμένων σε καρέ βίντεο, ταξινόμηση εικόνων, κατάτμηση και εκτίμηση στάσης. Δίκτυα από τις οικογένειες MobileNet, EfficientDet-Lite και YOLO, κβαντισμένα σε int8 και μεταγλωττισμένα για τη μονάδα, βαθμολογούν ένα καρέ χωρίς τα δεδομένα να φύγουν από το μηχάνημά σας.

Μη κατάλληλο για

Εκπαίδευση οποιουδήποτε είδους. Γλωσσικά μοντέλα, σε οποιαδήποτε κβάντωση: καμία από τις δύο μονάδες δεν μπορεί να χωρέσει δισεκατομμύρια παραμέτρους. Μοντέλα Float32 που δεν κβαντίζονται, και επίπεδα που ο μεταγλωττιστής του κατασκευαστή δεν υποστηρίζει, τα οποία επιστρέφουν στον επεξεργαστή ή αποτυγχάνουν να μεταγλωττιστούν.

Πού πηγαίνουν αυτά αντίστοιχα

Η διαστασιολόγηση ενός γλωσσικού μοντέλου είναι δουλειά του LLM hosting. Η εκπαίδευση και το μεγάλο inference εκτελούνται σε GPU dedicated servers, με μια αποκλειστική GPU ανά μηχάνημα. Ένα NPU και μια μεγάλη δεξαμενή μνήμης σε ένα κουτί είναι οι Ryzen AI servers.

Οι δύο μονάδες M.2

Hailo-8 ή Coral Edge TPU

Και οι δύο μονάδες δέχονται ένα δίκτυο int8 μεταγλωττισμένο εκ των προτέρων από τον μεταγλωττιστή του ίδιου του κατασκευαστή. Διαφέρουν στην ονομαστική απόδοση, στα frameworks που δέχονται και, αφού η Google αρχειοθέτησε το λογισμικό Coral, στο ποιος συντηρεί ακόμη τη στοίβα.

Μονάδα επιτάχυνσης AI Hailo-8 M.2, κάτοψη
Συντηρούμενη αλυσίδα εργαλείων

Μονάδα Hailo-8 M.2

Βαθμολογία (της Hailo)
έως 26 TOPS, int8
Παράγοντας μορφής
M.2 Key M, 22 × 42 mm, επεκτείνεται σε 2280
Διεπαφή
PCIe Gen 3
Πηγές μοντέλων
TensorFlow, TensorFlow Lite, ONNX, Keras, PyTorch
Αλυσίδα εργαλείων
Dataflow Compiler, HailoRT, Model Zoo
Runtime για Hailo-8
HailoRT 4.x, κλάδος hailo8 (4.24.0, Ιούνιος 2026)
Τιμή επιλογής
από $13.99/μήνα

Ο Dataflow Compiler κβαντίζει το δίκτυό σας και το μεταγλωττίζει σε αρχείο HEF, και το HailoRT εκτελεί αυτό το αρχείο από C++ ή Python. Χρησιμοποιήστε τον κλάδο hailo8: το HailoRT 5.x και ο κλάδος master υποστηρίζουν μόνο τα Hailo-10 και Hailo-15.

Google Coral M.2 Accelerator με Edge TPU
Αρχειοθετήθηκε από την Google

Google Coral M.2 Accelerator

Βαθμολογία (της Google)
4 TOPS, int8, στα 2 TOPS ανά watt
Επεξεργαστής
Google Edge TPU
Πηγές μοντέλων
TensorFlow Lite, int8, μέσω του Edge TPU Compiler
Runtime
libedgetpu και PyCoral, τελευταία έκδοση PyCoral 2.0.0 (Ιούλιος 2021)
Συντήρηση
Τα αποθετήρια της Google αρχειοθετήθηκε· τα community forks τα χτίζουν σήμερα
Τιμή επιλογής
από $13.99/μήνα

Ένα μοντέλο είτε μεταγλωττίζεται για το Edge TPU είτε όχι, και τα καθιερωμένα μοντέλα όρασης μεταγλωττίζονται. Η Google έχει αρχειοθετήσει τα libedgetpu, PyCoral και τα αποθετήρια Edge TPU, οπότε οι τρέχοντες πυρήνες και οι εκδόσεις Python βασίζονται σε community forks του runtime και του οδηγού PCIe. Επιλέξτε το όταν τα μοντέλα σας εκτελούνται ήδη σε ένα Edge TPU. Για ένα νέο έργο, ξεκινήστε με το Hailo-8.

Τα νούμερα απόδοσης είναι η βαθμολογία του κάθε κατασκευαστή. Δεν δημοσιεύουμε δικό μας benchmark: τα καρέ ανά δευτερόλεπτο εξαρτώνται από το μοντέλο σας, το μέγεθος εισόδου του και το batch.

Διαδρομή δεδομένων

Πώς λειτουργεί η εκφόρτωση μέσα σε ένα μηχάνημα

Ο Xeon εξακολουθεί να αποκωδικοποιεί το βίντεο, να αλλάζει το μέγεθος κάθε καρέ και να εκτελεί την εφαρμογή σας. Η μονάδα αναλαμβάνει το νευρωνικό δίκτυο και τίποτε άλλο, οπότε οι πυρήνες μένουν ελεύθεροι για την υπόλοιπη εργασία. Στο m710x, τα γραφικά Iris Pro P580 του επεξεργαστή μπορούν να αποκωδικοποιούν βίντεο σε υλικό με το Quick Sync, αφήνοντας τους τέσσερις πυρήνες του για τα υπόλοιπα.

Λογισμικό

Τι εκτελείται σε αυτό, συμπεριλαμβανομένου του Frigate

Το Frigate είναι ο συνηθισμένος λόγος για να βάλετε μία από αυτές τις μονάδες σε έναν διακομιστή. Είναι ένα NVR ανοιχτού κώδικα: τραβάει RTSP από τις κάμερές σας, εκτελεί έναν ανιχνευτή αντικειμένων σε ένα αντίγραφο χαμηλής ανάλυσης κάθε ροής και καταγράφει τα κλιπ που σημείωσε ο ανιχνευτής. Το Frigate 0.16 διαθέτει έναν ανιχνευτή για κάθε μονάδα, οπότε τα καρέ βαθμολογούνται στο μηχάνημα που νοικιάζετε.

Οι δύο ανιχνευτές του Frigate

Hailo-8
ανιχνευτής hailo8l, συσκευή PCIe· τον μοιράζονται το Hailo-8 και το 8L
Coral
ανιχνευτής edgetpu, συσκευή pci για τη μονάδα M.2
Μοντέλα
YOLOv9, YOLOv6n και SSD MobileNet στο Hailo-8· στο Coral, το YOLOv9 πρέπει να μετατραπεί χειροκίνητα
Χρόνοι του Frigate
περίπου 10 ms ανά καρέ για το SSD MobileNet v1 και περίπου 18 ms για το YOLOv9-tiny στα 320 × 320, μετρημένα στο Hailo-8L· περίπου 10 ms για το Coral

Η υποστήριξη Hailo έφτασε στο αποθετήριο του Frigate στην έκδοση 0.16. Η σελίδα υλικού του Frigate δεν συνιστά πλέον το Coral για νέα εγκατάσταση. Ξεκινήστε ένα νέο έργο στο Hailo-8 και κρατήστε το Coral για μοντέλα που έχουν ήδη μεταγλωττιστεί για το Edge TPU.

Διαστασιολόγηση των καμερών

Η ανίχνευση δεν εκτελείται σε κάθε καρέ. Το Frigate βαθμολογεί μερικά καρέ το δευτερόλεπτο ανά κάμερα στη ροή ανίχνευσης και αντιγράφει την καταγραφή χωρίς επανακωδικοποίηση. Μια μονάδα που βαθμολογεί ένα καρέ σε 10 ms αρκεί επομένως για περίπου εκατό ανιχνεύσεις το δευτερόλεπτο, μοιρασμένες στις κάμερές σας.

Ο κεντρικός υπολογιστής συνήθως εξαντλείται πριν από τη μονάδα. Ο Xeon αποκωδικοποιεί και αλλάζει το μέγεθος κάθε ροής, οπότε οι πυρήνες του και ο αποκωδικοποιητής υλικού του καθορίζουν τον αριθμό των καμερών εξίσου με τη μονάδα. Οι καταγραφές αποθηκεύονται στους δίσκους της κασέτας και οι δίσκοι, η μνήμη και η ταχύτητα θύρας είναι γραμμές στον ίδιο διαμορφωτή.

Οι κάμερές σας πρέπει να φτάνουν στο μηχάνημα. Το Frigate τραβάει RTSP μέσω του δικτύου και κάθε μηχάνημα διαθέτει μια θύρα χωρίς χρέωση, οπότε οι εισερχόμενες ροές δεν χρεώνονται· η σύνδεση από τον χώρο όπου βρίσκονται οι κάμερες και η σήραγγα μέσω της οποίας εκτελείται είναι δική σας υπόθεση.

Οι χρόνοι συμπερασμού είναι τα δημοσιευμένα στοιχεία του Frigate για τα δικά του μοντέλα, όχι δική μας μέτρηση. Εγκαθιστούμε το λειτουργικό σύστημα και σας δίνουμε root: το Frigate, ο οδηγός PCIe και ο χρόνος εκτέλεσης είναι δικά σας για εγκατάσταση και κλείδωμα εκδόσεων.

Ζωντανά από τον κατάλογο παραγγελιών

Δύο κασέτες υπολογιστή, με τιμές όπως τις χρεώνει το ταμείο

Η μονάδα είναι μια γραμμή επιλογής σε δύο κασέτες HPE Moonshot: την m710x με τετραπύρηνο Xeon E3 και την m510 με Xeon D 8 ή 16 πυρήνων. Κάθε τιμή παρακάτω είναι η βασική σύνθεση αυτής της γραμμής, με τη μονάδα ως μία επιπλέον γραμμή.

HPE ProLiant m710x

Intel Xeon E3-1585L v5

Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Μηχάνημα, βασική σύνθεση
$62.58/μήνα
+ Google Coral Edge TPU
$13.99/μήνα
+ Hailo-8
$13.99/μήνα
Εγκατάσταση, εφάπαξ
$29
Πόλεις
New York, Bucharest, San Francisco, Amsterdam, Miami

Χρεώνεται σε ευρώ στην Bucharest, Amsterdam, με τα ίδια ποσά.

Διαμορφώστε το m710x

HPE ProLiant m510

Intel Xeon D-1548 / Intel Xeon D-1587

Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Μηχάνημα, βασική σύνθεση
$62.58/μήνα
+ Google Coral Edge TPU
$13.99/μήνα
+ Hailo-8
$13.99/μήνα
Εγκατάσταση, εφάπαξ
$29
Πόλεις
New York, Miami, Bucharest, Amsterdam, San Francisco

Χρεώνεται σε ευρώ στην Bucharest, Amsterdam, με τα ίδια ποσά.

Διαμορφώστε το m510

Μια μονάδα αλλάζει το μηχάνημα, οπότε η παραγγελία είναι προσαρμοσμένη σύνθεση και φέρει την εφάπαξ χρέωση εγκατάστασης που εμφανίζεται. Η μνήμη, οι δίσκοι, η ταχύτητα θύρας και η περίοδος χρέωσης ορίζονται όλα στον ίδιο διαμορφωτή, ο οποίος δείχνει το τελικό μηνιαίο σύνολο πριν πληρώσετε.

Ρύθμιση

Από την παραγγελία στον πρώτο συμπερασμό

Εγκαθιστούμε το λειτουργικό σύστημα και σας δίνουμε root. Ο χρόνος εκτέλεσης του κατασκευαστή δεν είναι προεγκατεστημένος, οπότε η έκδοσή του είναι δική σας επιλογή και κλείδωμα.

  1. Διαμορφώστε τον υπολογιστή. Ανοίξτε τον διαμορφωτή m710x ή m510, επιλέξτε το Hailo-8 ή το Coral και διαλέξτε το λειτουργικό σύστημα.
  2. Ελέγξτε ότι η μονάδα είναι στον δίαυλο. Εκτελέστε lspci -nn | grep -Ei '1e60|1ac1'. Το Hailo-8 εμφανίζεται ως 1e60:2864 και το Coral ως 1ac1:089a.
  3. Hailo-8: εγκαταστήστε τον οδηγό PCIe και το HailoRT από τη γραμμή 4.x (τον κλάδο hailo8 του hailo-ai/hailort ή τα πακέτα της Developer Zone της Hailo) και μετά εκτελέστε hailortcli fw-control identify για να διαβάσετε το υλικολογισμικό και τον σειριακό αριθμό της μονάδας.
  4. Coral: μεταγλωττίστε τον οδηγό PCIe gasket και apex και το libedgetpu από ένα συντηρούμενο fork, φορτώστε τον οδηγό και ελέγξτε ότι υπάρχει το /dev/apex_0 πριν εκτελέσετε το πρώτο σας μοντέλο.
  5. Κλειδώστε τις εκδόσεις. Κρατήστε τον πυρήνα, τον οδηγό και τον χρόνο εκτέλεσης σε εκδόσεις που συνεργάζονται. Τίποτα από την πλευρά μας δεν ενημερώνει το μηχάνημα πίσω από την πλάτη σας.

Απαντήσεις

Ερωτήσεις για διακομιστές TPU

Τι είναι ένας διακομιστής TPU;

Ένας διακομιστής με μια μονάδα επεξεργασίας τανυστών συνδεδεμένη σε αυτόν. Στη Server Room είναι μια αποκλειστική κασέτα HPE Moonshot με Google Coral Edge TPU ή Hailo-8 στην υποδοχή M.2, για συμπερασμό int8 σε μοντέλα όρασης. Τα Cloud TPU της Google είναι ένα διαφορετικό και πολύ μεγαλύτερο τσιπ, που νοικιάζεται μόνο μέσα στο Google Cloud.

Μπορώ να νοικιάσω ένα Google Cloud TPU από εσάς;

Όχι. Τα Cloud TPU διατίθενται μόνο στο Google Cloud και καμία εταιρεία φιλοξενίας δεν μπορεί να τα εγκαταστήσει. Για εκπαίδευση ή εξυπηρέτηση μεγάλων μοντέλων σε υλικό που ελέγχετε, δείτε τους αποκλειστικούς διακομιστές GPU μας, όπου κάθε μηχάνημα έχει μια αποκλειστική GPU.

Πόσο κοστίζει ένας διακομιστής TPU;

Ένα πλήρες μηχάνημα με Hailo-8 ή Coral ξεκινά από $76.57 τον μήνα. Η μονάδα είναι μία γραμμή πάνω από το μηχάνημα, από $13.99 τον μήνα για το Hailo-8 και από $13.99 για το Coral, και η παραγγελία φέρει εφάπαξ χρέωση εγκατάστασης από $29. Οι κάρτες υπολογιστή παραπάνω δείχνουν σε ποιο μηχάνημα ανήκει κάθε τιμή.

Hailo-8 ή Coral Edge TPU: ποιο να επιλέξω;

Η Hailo βαθμολογεί το Hailo-8 έως 26 TOPS και η Google βαθμολογεί το Coral στα 4 TOPS, και τα δύο σε int8. Το Hailo-8 έχει επίσης συντηρούμενο λογισμικό: το HailoRT 4.24.0 για αυτό κυκλοφόρησε τον Ιούνιο του 2026, ενώ η Google έχει αρχειοθετήσει τα αποθετήρια του Coral. Επιλέξτε το Coral όταν τα μοντέλα σας εκτελούνται ήδη σε Edge TPU.

Μπορώ να εκτελέσω το Frigate NVR σε διακομιστή TPU;

Ναι. Το Frigate 0.16 έχει ανιχνευτή και για τις δύο μονάδες: τον ανιχνευτή hailo8l με τη συσκευή σε PCIe για το Hailo-8 και τον ανιχνευτή edgetpu με τη συσκευή σε pci για το Coral M.2. Το Frigate βαθμολογεί μερικά καρέ το δευτερόλεπτο ανά κάμερα, οπότε μία μονάδα εξυπηρετεί πολλές ροές. Εγκαθιστούμε το λειτουργικό σύστημα και σας δίνουμε root· το Frigate, ο οδηγός PCIe και ο χρόνος εκτέλεσης είναι δικά σας για εγκατάσταση και κλείδωμα εκδόσεων.

Μπορεί ένας διακομιστής TPU να εκτελέσει ένα LLM;

Όχι. Καμία από τις δύο μονάδες δεν μπορεί να χωρέσει μοντέλο με δισεκατομμύρια παραμέτρους, σε οποιαδήποτε κβαντοποίηση. Υπολογίστε το μέγεθος του μοντέλου στη σελίδα φιλοξενίας LLM και μετά εκτελέστε το σε αποκλειστικό διακομιστή GPU ή σε ένα από τα μηχανήματα Ryzen AI μας.

Ποια λειτουργικά συστήματα και οδηγοί λειτουργούν;

Οποιοδήποτε σύστημα προσφέρει ο διαμορφωτής για την κασέτα μπορεί να εγκατασταθεί. Το HailoRT έχει κατασκευαστεί για Linux και Windows· ο χρόνος εκτέλεσης του Coral και τα fork της κοινότητας στοχεύουν Linux. Εγκαθιστούμε το σύστημα και εσείς εγκαθιστάτε τον χρόνο εκτέλεσης στην έκδοση που επιλέγετε.

Πού βρίσκονται οι διακομιστές TPU σας;

Οι διακομιστές TPU πωλούνται σε αυτές τις πόλεις: New York, Bucharest, San Francisco, Amsterdam, Miami. Λειτουργούν στο δικό μας δίκτυο, AS19624. Οι παραγγελίες σε αυτές τις πόλεις χρεώνονται σε ευρώ, με τα ίδια ποσά: Bucharest, Amsterdam.

Μοιράζεται το TPU με άλλους πελάτες;

Όχι. Η μονάδα βρίσκεται μέσα στην κασέτα σας και το μηχάνημα έχει έναν μισθωτή. Παίρνετε root και την απομακρυσμένη κονσόλα και κανένας φόρτος εργασίας άλλου πελάτη δεν εκτελείται σε αυτό.

Διαλέξτε μια κασέτα, επιλέξτε τη μονάδα

Ερωτήσεις πριν παραγγείλετε; Η τεχνητή νοημοσύνη συνομιλίας μας απαντά σε δευτερόλεπτα και μπορεί να ελέγξει τον λογαριασμό και τους διακομιστές σας, ενώ ένα άτομο αναλαμβάνει όποτε το ζητήσετε.

Διαμορφώστε ένα m710x