Czym jest dedykowany serwer AI?
Dedykowany serwer AI to fizyczna maszyna wynajmowana jednemu klientowi do uruchamiania modeli AI, z dostępem root i bez innego najemcy na sprzęcie. Nasze występują jako maszyny CPU ze 128 GB pamięci dla modeli skwantyzowanych oraz jako serwery GPU dla większych modeli i dostrajania. Ty wybierasz system operacyjny i oprogramowanie; my obsługujemy sprzęt i sieć.
Ile kosztuje hosting LLM?
Na serwerze dedykowanym to jedna miesięczna kwota, a nie rachunek za token. Maszyna CPU do inferencji to $249 a month, kompletny serwer z GPU 48 GB to $532.67 a month, a konfiguracja z GPU 80 GB to $972.47 a month. Ruch jest bez limitu, a okres rozliczeniowy jest miesięczny, bez umowy.
Czy mogę uruchomić LLM bez GPU?
Tak, dla modeli skwantyzowanych do około 14 miliardów parametrów. Model 7–8B w 4 bitach potrzebuje około 5 GB i działa z pamięci systemowej z llama.cpp lub Ollama, co wystarcza dla asystenta zespołu, wyszukiwania i osadzeń. Nie obsłuży modelu 70B dla wielu użytkowników naraz; to zadanie dla GPU.
Jakiego serwera potrzebuję, aby uruchomić model 70B?
Wagi modelu 70B to około 38 GB w 4 bitach i 70 GB w 8 bitach, przed środowiskiem uruchomieniowym i kontekstem. Domyślny 4-bitowy Llama 3.1 70B od Ollama to pobranie 43 GB, więc wygodnym domem na jednej maszynie jest GPU 80 GB. GPU 48 GB ładuje 4-bitowy 70B z niewielkim zapasem, a 8-bitowy lub 16-bitowy wymaga więcej niż jednego GPU, co opisuje strona o wielu GPU.
Które modele mogę hostować na własnym serwerze?
Każdy model, którego wagi wolno Ci przechowywać: Llama, Qwen, Mistral, Gemma, DeepSeek i ich dostrojone warianty. Licencja to sprawa między Tobą a wydawcą. Nie sprawdzamy ani nie ograniczamy tego, co ładujesz.
Czy moje dane są używane do trenowania czegokolwiek?
Nie. Maszyna jest wyłącznie Twoja, z Twoim systemem operacyjnym na Twoich dyskach, a nic z naszego nie czyta podpowiedzi, kontekstu ani wyników. Obsługujemy sprzęt i sieć, nigdy obciążenie.
Czy mogę na nim dostrajać lub trenować LLM?
Dostrajanie — tak. Adaptery LoRA i QLoRA trenują na jednym GPU, a artykuł o QLoRA dostroił model 65B na pojedynczym GPU 48 GB. Wstępne trenowanie modelu od zera wymaga wielu GPU na wielu maszynach, co jest pytaniem do strony o wielu GPU.
Jak szybko otrzymam serwer LLM?
Około 30 minut po zatwierdzeniu płatności, gdy maszyna jest już w szafie, oraz od 4 do 24 godzin, gdy jest budowana na zamówienie. Część kupowana specjalnie do Twojego zamówienia trwa dłużej i może wiązać się z zaliczką lub minimalnym okresem, o czym dowiadujesz się przed zapłatą.
Czy jest darmowy okres próbny?
Nie ma kont próbnych. Polityka zwrotów obowiązuje w ciągu trzech dni kalendarzowych od pierwszej aktywacji, a płatności kryptowalutowe są zwracane jako kredyt sklepowy. Najtańszym sposobem na test jest jeden miesiąc na maszynie CPU.
Co się dzieje, gdy wyrosnę z maszyny?
Przechodzisz na następną, zwykle w tym samym budynku. Maszyna CPU przekazuje pliki modelu serwerowi GPU przez sieć lokalną albo GPU w obudowie, którą już wynajmujesz, zostaje wymienione, a faktura zmienia się o różnicę.