Server dedicato GPU · potenza di calcolo sbloccata · Bucharest, UE
Noleggia un server GPU RTX 3050 per l'IA, tensor core sbloccati
Un intero desktop RTX 3050 6GB per l'inferenza e il fine-tuning dell'IA, noleggiato mensilmente in Bucharest. Ogni macchina che consegniamo con Ubuntu ha i tensor core alla massima velocità: sulla nostra scheda il calcolo matriciale FP16 è passato da 14.0 a 21.3 TFLOPS, entro lo stesso limite di potenza di 70 W, senza nulla da installare. La macchina è tutta tua: un Intel Core i5-9500, 32 GB di memoria, un 256 GB NVMe SSD, accesso root e una porta 1 Gbps senza limiti di traffico.
- FP16 +52%
- BF16 +54%
- TF32 +56%
- Verificato a ogni avvio
Di fabbrica vs sbloccata
Misurata sul nostro RTX 3050, non copiata da una scheda tecnica
Una scheda in una delle nostre macchine, avviata a freddo due volte: prima con l'impostazione di fabbrica, poi sbloccata. Stesso kernel, stesso driver, stesso limite di potenza 70 W. Il test è quello su cui si basano maggiormente i framework di intelligenza artificiale, una grande moltiplicazione di matrici in PyTorch.
Throughput di moltiplicazione di matrici in TFLOPS, più alto è più veloce
Matrici 8192 × 8192, PyTorch, driver NVIDIA 595
- Di fabbrica
- Sbloccata
- FP16 14.0+52%21.3
- BF16 14.2+54%22.0
- TF32 6.9+56%10.8
- FP32 3.7uguale3.7
Il tasso tensoriale di picco raddoppia. Contato istruzione per istruzione, FP16 e BF16 con accumulo FP32 sono passati da 17.9 a 36.1 trilioni di operazioni al secondo. Le grandi moltiplicazioni reali guadagnano circa la metà invece del doppio, perché la scheda lavora già al suo limite di 70 W e la velocità extra deve rientrare nella stessa potenza.
Mostra i dati come tabella
| Precisione | Di fabbrica | Sbloccata | Variazione |
|---|---|---|---|
| FP16, TFLOPS | 14.0 | 21.3 | +52% |
| BF16, TFLOPS | 14.2 | 22.0 | +54% |
| TF32, TFLOPS | 6.9 | 10.8 | +56% |
| FP32, TFLOPS | 3.7 | 3.7 | uguale |
| Tasso tensoriale di picco, accumulo FP32, TF/s | 17.9 | 36.1 | 2x |
Ogni dato è la media di cinque esecuzioni di cinquanta moltiplicazioni, dopo un riscaldamento. Il tuo incremento di velocità dipende dal modello, dalla dimensione del batch e dal software.
Dove lo sentirai
Più veloce dove lavorano i tensor core, invariato ovunque altrove
Lo sblocco aumenta una sola cosa: la velocità con cui la scheda moltiplica matrici in FP16, BF16 e TF32. Tutto ciò che trascorre il proprio tempo lì accelera; tutto ciò che non lo fa, funziona esattamente come prima.
Diventa più veloce
- Elaborazione dei prompt nell'inferenza AI. Leggere un prompt o un documento lungo è lavoro matriciale, quindi l'attesa prima della prima parola si accorcia.
- Fine-tuning di modelli piccoli. LoRA e simili su modelli che stanno in 6 GB GDDR6 terminano prima in BF16 o FP16.
- Generazione di immagini. I modelli di diffusione trascorrono gran parte di ogni passaggio in matematica matriciale a mezza precisione.
- Inferenza batch. Lavori di embedding, classificazione e trascrizione che elaborano molti input contemporaneamente.
Resta com'era
- Giochi e rendering 3D. Il lavoro grafico non passa da questo percorso.
- Codifica e decodifica video. NVENC e NVDEC sono motori separati sul chip e mantengono la loro velocità di fabbrica.
- Codice CUDA FP32. La normale matematica a precisione singola gira a 3.7 TFLOPS in entrambi i casi.
- Generazione di testo token per token. Una volta che un modello scrive la sua risposta, è la velocità della memoria a dettare il ritmo, non il tasso dei tensor.
Come raggiunge il tuo server
Ordinalo su Ubuntu e la scheda arriva sbloccata
Scegli Ubuntu
Scegli Ubuntu 22.04, 24.04 o 26.04 nel modulo d'ordine. Installiamo il sistema, il driver NVIDIA e lo sblocco compute insieme, così la macchina è online circa 30 minuti dopo l'approvazione dell'ordine.
Applicato a ogni avvio
Nulla viene scritto sulla scheda. Lo sblocco viene impostato durante l'avvio della macchina, prima che il driver NVIDIA venga caricato, e viene verificato a ogni avvio del sistema.
Velocità di fabbrica come rete di sicurezza
Se un avvio non riesce ad applicarlo, la scheda si avvia semplicemente alla velocità di fabbrica e continua a funzionare. Nient'altro sulla macchina cambia in entrambi i casi.
Preferisci Windows o un altro sistema? Ordina la stessa macchina con qualsiasi sistema operativo presente nel nostro elenco, Windows incluso. La scheda funzionerà quindi alla velocità di fabbrica, perché applichiamo lo sblocco solo su Ubuntu. Tutto il resto, dal processore alla porta senza limiti di traffico, è identico.
Come l'abbiamo testato
L'abbiamo provato nel nostro rack prima di offrirtelo
Prima che una sola macchina dei clienti ricevesse lo sblocco, abbiamo sottoposto uno di questi desktop a un test di laboratorio: avvii a freddo ripetuti, un riavvio a caldo, ogni benchmark in entrambi gli stati e una lunga esecuzione a pieno carico, monitorando costantemente la presenza di errori.
Ha retto. Lo sblocco è avvenuto a ogni avvio, la scheda non ha registrato errori e ogni risultato sotto carico è risultato identico al primo, bit per bit.
- Macchina
- Intel Core i5-9500, 32 GB, Bucharest
- Scheda
- RTX 3050 6GB, limite 70 W
- Sistema
- Ubuntu 24.04, driver NVIDIA 595
- Avvii
- Sbloccato su 5 di 5
- Esecuzione a pieno carico
- 45 minuti, 0 errori
- Risultati verificati
- Identici bit per bit, 0 discrepanze
- Benchmark
- PyTorch, matrici 8192²
Domande
RTX 3050 sbloccata: cosa chiedono prima di noleggiarne una
Cosa viene sbloccato esattamente?
La velocità con cui i tensor core della scheda moltiplicano le matrici in FP16, BF16 e TF32. Di fabbrica, questa scheda esegue questi calcoli a metà della velocità che il chip può raggiungere quando somma i risultati in FP32. Sbloccata, funziona a piena velocità. La scheda, il suo 6 GB GDDR6 e il suo limite di potenza 70 W restano invariati.
Quanto sarà più veloce il mio carico di lavoro?
Sulla nostra scheda, le grandi moltiplicazioni di matrici sono risultate più veloci del 52% in FP16, del 54% in BF16 e del 56% in TF32. Un intero lavoro di IA guadagna meno di così, perché impiega tempo anche in operazioni che lo sblocco non tocca, come lo spostamento dei dati o la generazione dei token uno alla volta.
Quali modelli di IA entrano in 6 GB GDDR6?
È la memoria, non la velocità dei tensor, a decidere cosa puoi eseguire. Whisper large-v3 occupa circa 3,1 GB a 16 bit e Stable Diffusion 1.5 circa 2 GB, quindi entrambi lasciano spazio a sufficienza. Un modello linguistico da 8 miliardi di parametri quantizzato a 4 bit pesa 4,92 GB di pesi, che ci stanno con contesto ancora disponibile. SDXL a 16 bit (6,9 GB) e un modello da 13B a 4 bit (7,87 GB) non ci stanno; per 24 GB di memoria video, consulta i nostri server della serie RTX 30.
Devo installare qualcosa?
No. Ordina la macchina con Ubuntu e ti verrà consegnata con il driver NVIDIA e lo sblocco di calcolo già attivi. Ottieni l'accesso root e puoi aggiungere CUDA, PyTorch o qualsiasi altra cosa sopra.
Posso ordinarla con Windows?
Sì, con Windows o qualsiasi altro sistema operativo che offriamo. Lo sblocco di calcolo viene applicato solo su Ubuntu, quindi su qualsiasi altro sistema la scheda funziona alla velocità di fabbrica, che è comunque un intero RTX 3050 6GB tutto tuo.
Cosa succede se un giorno lo sblocco non viene applicato?
La scheda parte alla velocità di fabbrica e funziona normalmente. Viene controllata a ogni avvio, quindi basta un riavvio per il tentativo successivo.
Posso disattivarlo?
Sì. È una singola opzione di avvio. Rimuovila, spegni e riaccendi la macchina e la scheda torna alla velocità di fabbrica. Il nostro team di supporto può farlo per te.
Costa qualcosa in più?
No. La scheda sbloccata è inclusa nel prezzo della macchina di €89.00 al mese, con 32 GB di memoria, il 256 GB NVMe SSD, un indirizzo IPv4 e una porta 1 Gbps senza limiti di traffico.
Più throughput AI dalla stessa scheda, allo stesso €89.00 al mese
Un'intera macchina RTX 3050 in Bucharest con i suoi tensor core a piena velocità, accesso root e una porta 1 Gbps senza limiti, online circa 30 minuti dopo l'approvazione.
NVIDIA, GeForce e RTX sono marchi di NVIDIA Corporation. Lo sblocco del calcolo è una nostra configurazione della scheda e non è fornito da NVIDIA.