Was ist ein dedizierter KI-Server?
Ein dedizierter KI-Server ist eine physische Maschine, die an einen Kunden vermietet wird, um KI-Modelle auszuführen, mit Root-Zugang und ohne weiteren Mieter auf der Hardware. Unsere gibt es als CPU-Maschinen mit 128 GB Arbeitsspeicher für quantisierte Modelle und als GPU-Server für größere Modelle und Feinabstimmung. Sie wählen das Betriebssystem und die Software; wir betreiben die Hardware und das Netzwerk.
Wie viel kostet LLM-Hosting?
Auf einem dedizierten Server ist es ein monatlicher Betrag, keine Rechnung pro Token. Die CPU-Inferenzmaschine kostet $249 a month, ein kompletter Server mit einer 48-GB-GPU kostet $532.67 a month, und die Ausführung mit 80-GB-GPU kostet $972.47 a month. Der Traffic ist ungedrosselt und die Laufzeit monatlich, ohne Vertrag.
Kann ich ein LLM ohne GPU betreiben?
Ja, für quantisierte Modelle bis etwa 14B Parameter. Ein 7-8B-Modell mit 4 Bit benötigt etwa 5 GB und läuft mit llama.cpp oder Ollama aus dem Systemspeicher – genug für einen Team-Assistenten, Retrieval und Embeddings. Ein 70B-Modell für viele gleichzeitige Nutzer wird es nicht bedienen; das ist GPU-Arbeit.
Welchen Server brauche ich für ein 70B-Modell?
Die Gewichte eines 70B-Modells liegen bei etwa 38 GB mit 4 Bit und 70 GB mit 8 Bit, vor Laufzeitumgebung und Kontext. Ollamas Standard-4-Bit-Llama-3.1-70B ist ein 43-GB-Download, daher ist das komfortable Zuhause auf einer Maschine die 80-GB-GPU. Eine 48-GB-GPU lädt ein 4-Bit-70B mit wenig verbleibendem Spielraum, und 8 Bit oder 16 Bit erfordern mehr als eine GPU – das ist die Multi-GPU-Seite.
Welche Modelle kann ich auf meinem eigenen Server hosten?
Jedes Modell, dessen Gewichte Sie halten dürfen: Llama, Qwen, Mistral, Gemma, DeepSeek und ihre Feinabstimmungen. Die Lizenz ist eine Sache zwischen Ihnen und dem Herausgeber. Wir prüfen nicht und schränken nicht ein, was Sie laden.
Werden meine Daten zum Training verwendet?
Nein. Die Maschine gehört allein Ihnen, mit Ihrem Betriebssystem auf Ihren Festplatten, und nichts von uns liest die Prompts, den Kontext oder die Ausgaben. Wir betreiben die Hardware und das Netzwerk, niemals die Arbeitslast.
Kann ich darauf ein LLM feinabstimmen oder trainieren?
Feinabstimmen, ja. LoRA- und QLoRA-Adapter trainieren auf einer GPU, und das QLoRA-Paper hat ein 65B-Modell auf einer einzelnen 48-GB-GPU feinabgestimmt. Ein Modell von Grund auf vorzutrainieren erfordert viele GPUs über viele Maschinen hinweg – das ist eine Frage für die Multi-GPU-Seite.
Wie schnell bekomme ich einen LLM-Server?
Etwa 30 Minuten nach Zahlungsfreigabe, wenn die Maschine bereits im Rack steht, und 4 bis 24 Stunden, wenn sie auf Bestellung gebaut wird. Ein für Ihre Bestellung eingekauftes Teil dauert länger und kann eine Vorauszahlung oder eine Mindestlaufzeit mit sich bringen – das erfahren Sie, bevor Sie zahlen.
Gibt es eine kostenlose Testphase?
Keine Testkonten. Die Rückerstattungsrichtlinie gilt innerhalb von drei Kalendertagen nach der ersten Aktivierung, und Kryptowährungszahlungen werden als Guthaben erstattet. Der günstigste Weg zum Testen ist ein Monat auf der CPU-Maschine.
Was passiert, wenn ich aus der Maschine herauswachse?
Sie wechseln zur nächsten, meist im selben Gebäude. Eine CPU-Maschine übergibt ihre Modelldateien über das lokale Netzwerk an einen GPU-Server, oder die GPU in dem Gehäuse, das Sie bereits mieten, wird getauscht und die Rechnung ändert sich um die Differenz.