GPU und KI · LLM-Hosting · monatlich

LLM-Hosting auf einem dedizierten KI-Server Ihr Modell, Ihre Maschine, eine monatliche Rechnung.

LLM-Hosting bedeutet hier, ein offenes Modell wie Llama, Qwen oder DeepSeek auf einem ganzen Server zu betreiben, den Sie monatlich mieten, statt pro Token bei einem Anbieter zu zahlen. Ein quantisiertes 7-8B-Modell läuft auf der CPU-Inferenz-Maschine für $249 a month, und ein kompletter Server mit einer 48-GB-GPU kostet $532.67 a month.

  • Einzelmandant
  • Unlimitierter Port
  • Keine Token-Abrechnung
  • Monatlich, ohne Vertrag
  • 5 Städte

Wählen Sie die Maschine nach dem Modell, das Sie betreiben werden. Planen Sie die Größe unten im Planer und konfigurieren Sie sie dann. Jeder Preis auf dieser Seite stammt aus den Datensätzen, nach denen der Checkout abrechnet.

Die Maschinen

Vier LLM-Server für vier Aufgaben

Das sind keine Stufen eines Produkts. Jede ist eine andere Maschine für eine andere Arbeitslast, und jede Zahl ist die monatliche Summe des exakten Builds, der darunter steht. Port und IP-Adresse sind bereits in der Zahl enthalten.

CPU-Inferenz

Ein privater Assistent für das Team

Ein quantisiertes 7-8B- oder 13-14B-Modell von Llama, Qwen oder Mistral läuft aus 128 GB Arbeitsspeicher mit llama.cpp oder Ollama. Chat, Retrieval und Embeddings teilen sich die Maschine mit dem Vektorspeicher, und es gibt keine GPU zu bezahlen. Auf Bestellung gebaut in 4 bis 24 Stunden, in 5 Städten.

$249/mo

AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps

GPU-Serving und Feintuning

Größere Modelle auf einer dedizierten GPU

Von einem 13B-Modell mit 16 Bit bis zu einem 70B-Modell mit 4 Bit wandern die Gewichte in den GPU-Speicher, und vLLM stellt sie als gebündelten Endpunkt bereit, der die OpenAI-API spricht, die Ihr Client-Code bereits nutzt. Die Zahl ist eine komplette Maschine mit der installierten 48-GB-L40S. Die Zeile darunter ist der A100 80GB-Build, eine eigene komplette Maschine mit 80 GB GPU-Speicher.

$532.67/mo

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

L40S · 48 GB GDDR6 ECC · GPU line $449/mo

A100 80GB · 80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$972.47/mo

Agenten

Eine Box für das Agenten-Gateway

Agenten-Gateways wie OpenClaw rufen Modelle auf, die anderswo gehostet werden, und warten auf die Antworten. Sie brauchen eine Maschine, die eingeschaltet bleibt, und einen Netzwerkport, keine GPU, und dieser kleine Cartridge-Server erledigt das für wenig Geld.

$34.40/mo

Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps

+ $19 once · OpenClaw image

Dev-Box

DGX Spark, ohne den Schreibtisch

NVIDIAs kleine GB10-Maschine, in New York gerackt, ohne Import, Lüftergeräusch und Stromverbrauch neben Ihrem Stuhl. Sie hat keine Out-of-Band-Konsole, daher wird ein Neustart auf Anfrage von unseren Technikern durchgeführt.

$599/mo

10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps

New York · annual term

EU oder USA, Ihre Wahl

Amsterdam und Bukarest halten europäische Daten in Europa. New York, Miami und San Francisco halten amerikanische Daten in den Vereinigten Staaten. Alle fünf liegen in unserem eigenen Netzwerk. Die fünf Rechenzentren

Größer als eine Maschine?

Eine zweite GPU im Gehäuse oder ein zweiter Server daneben ist eine andere Frage mit eigener Seite: Lanes, Ports und Platzierung, mit benannten Teilen kalkuliert. Oder , und die Antwort nennt das Gehäuse und die Lieferzeit.

Größenplanung

Wie viel Speicher braucht ein LLM?

Die Gewichte nehmen die Parameteranzahl mal die Bytes pro Parameter: etwa 2 Bytes bei 16 Bit, 1 Byte bei 8 Bit und ein halbes Byte bei 4 Bit. Wählen Sie eine Größe und eine Präzision, um zu sehen, welcher LLM-Server sie fasst und wie viel Raum für Laufzeit und Kontextfenster übrig bleibt.

Der Planer

5 GB7-8 billion parameters · 4-bit

$249/mo · 128 GB / 5 GB = 25.6×

Das Verhältnis ist der Speicher geteilt durch die Gewichte. Unter 1,5× ist knapp: Das Modell lädt, aber ein langer Kontext oder ein zweiter Benutzer kann den Speicher erschöpfen. Unter 1,25× nennen wir es nicht passend.

LLM-Größen auf einen Blick

Model size16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Nur Gewichte. Eine ausgelieferte Datei ist schwerer als die Rechnung, denn gängige 4-Bit-Formate halten einige Tensoren mit höherer Präzision: Ollamas Standard-4-Bit-Llama 3.1 70B ist ein 43-GB-Download, nicht 38 GB. Planen Sie nach der Datei, die Sie laden werden. Lizenzen sind eine Sache zwischen Ihnen und dem Herausgeber des Modells; die Maschine prüft nicht, was Sie laden.

In jeder Zahl

Was ein dedizierter KI-Server Ihrem Modell gibt

Ein dedizierter KI-Server ist eine physische Maschine, die Ihre Modelle ausführt und sonst niemandes. Die Miete läuft monatlich, und diese sechs Dinge sind bei jedem Gerät ohne zusätzliche Zeile auf der Rechnung enthalten.

Ein Mieter

Die physische Maschine gehört Ihnen. Kein Hypervisor darunter, keine geteilte GPU, kein Time-Slicing und kein Batch-Job eines anderen Kunden auf Ihrer Hardware.

Root und eine Konsole

Ein sauberes Betriebssystem Ihrer Wahl und Root auf der Hardware. Die Rack- und Blade-Server bieten zusätzlich eine Out-of-Band-Konsole (iLO oder iDRAC), die noch antwortet, wenn das Betriebssystem es nicht mehr tut.

Ein ungedrosselter Port

Es wird in keiner Richtung gezählt. Datensätze rein, Checkpoints raus, Nutzer bedient – und keine Egress-Zeile auf irgendeiner Rechnung.

Ihr Stack, Ihre Versionen

Ollama, llama.cpp, vLLM: Sie installieren und pinnen sie, und danach ändert sie nichts mehr. Soll der GPU-Treiber bei der Übergabe bereits eingerichtet sein? Schreiben Sie die Version auf die Bestellung.

Hoheit über die Daten

Prompts, Kontext und Feinabstimmungsdaten bewegen sich zwischen Ihren Nutzern und Ihrer Maschine. Kein Dritter sitzt dazwischen, um sie zu protokollieren, darauf zu trainieren oder seine Bedingungen darum herum zu ändern.

Support in Sekunden

Öffnen Sie den Chat und ein KI-Assistent antwortet in Sekunden. Er kann Ihr Konto und Ihren Server prüfen, und ein Mensch übernimmt, sobald Sie es verlangen. So funktioniert der Support

Einrichtung

Ihr eigenes LLM hosten: die erste Stunde

Ein selbst gehostetes LLM ist eine Laufzeitumgebung, eine Modelldatei und ein Port. In dieser Reihenfolge würden wir es auf einer frischen Maschine angehen.

  1. Die Maschine anhand des Modells dimensionieren

    Nehmen Sie die Gewichte aus der Tabelle oben und schlagen Sie ein Viertel bis die Hälfte für die Laufzeitumgebung und das Kontextfenster darauf. Diese Zahl bestimmt die CPU-Maschine, die 48-GB-GPU oder die 80-GB-GPU.

  2. Eine Laufzeitumgebung installieren

    Auf der CPU-Maschine installiert sich Ollama mit einer Zeile, curl -fsSL https://ollama.com/install.sh | sh, und ollama run llama3.1:8b lädt und startet ein Modell. Auf einem GPU-Server starten pip install vllm und anschließend vllm serve mit einem Modellnamen einen OpenAI-kompatiblen Server auf Port 8000.

  3. Den Port privat halten

    Ollama lauscht standardmäßig auf 127.0.0.1:11434, und genau dort gehört es hin. Öffnen Sie einen Modell-Port nicht ohne Authentifizierung ins Internet: Stellen Sie einen Reverse-Proxy mit TLS und einem API-Schlüssel davor oder erreichen Sie ihn über SSH oder ein VPN.

  4. Ihren Code darauf ausrichten

    Ollama, der Server von llama.cpp und vLLM antworten alle im OpenAI-API-Format, sodass ein bestehender Client meist nur eine neue Basis-URL und einen Schlüssel braucht.

Die andere Rechnung

Per-Token-API oder Ihr eigener LLM-Server

Eine Per-Token-API ist das richtige Werkzeug für stoßweisen Traffic und für die Qualität von Frontier-Modellen, und das sagen wir auch offen. Der Server gewinnt, wenn das Volumen konstant ist, wenn die Daten in Ihrer Obhut bleiben müssen oder wenn ein abgestimmtes offenes Modell die Aufgabe bereits erledigt.

Frage
Per-Token-API
Ihr eigener Server
Wie Sie zahlen
Pro Token, rein und raus
Ein monatlicher BetragDerselbe bei zehnfachem Traffic.
Wohin Prompts gehen
Zu den Systemen des Anbieters
Nur Ihre MaschineKein Dritter dazwischen.
Welche Modelle
Die Liste des Anbieters
Alle offenen GewichteLlama, Qwen, Mistral, Gemma, DeepSeek und Feinabstimmungen.
Ratenlimits
Vom Anbieter festgelegt
Von Ihrer Hardware festgelegtBatch-Größe und Kontext stimmen Sie selbst ab.
Am besten für
Spitzen, Frontier-Qualität
Konstantes VolumenSensible Daten, abgestimmte offene Modelle.

Die beiden lassen sich gut kombinieren: Viele Stacks schicken die schwierigsten Anfragen an eine API und bedienen den Rest selbst. Jeder monatliche Betrag auf dieser Seite steht auf der Preisliste, und warum unsere älteren Maschinen günstig bleiben, steht auf der Wert-Seite.

Antworten

Fragen zum LLM-Hosting, beantwortet

Was ist ein dedizierter KI-Server?

Ein dedizierter KI-Server ist eine physische Maschine, die an einen Kunden vermietet wird, um KI-Modelle auszuführen, mit Root-Zugang und ohne weiteren Mieter auf der Hardware. Unsere gibt es als CPU-Maschinen mit 128 GB Arbeitsspeicher für quantisierte Modelle und als GPU-Server für größere Modelle und Feinabstimmung. Sie wählen das Betriebssystem und die Software; wir betreiben die Hardware und das Netzwerk.

Wie viel kostet LLM-Hosting?

Auf einem dedizierten Server ist es ein monatlicher Betrag, keine Rechnung pro Token. Die CPU-Inferenzmaschine kostet $249 a month, ein kompletter Server mit einer 48-GB-GPU kostet $532.67 a month, und die Ausführung mit 80-GB-GPU kostet $972.47 a month. Der Traffic ist ungedrosselt und die Laufzeit monatlich, ohne Vertrag.

Kann ich ein LLM ohne GPU betreiben?

Ja, für quantisierte Modelle bis etwa 14B Parameter. Ein 7-8B-Modell mit 4 Bit benötigt etwa 5 GB und läuft mit llama.cpp oder Ollama aus dem Systemspeicher – genug für einen Team-Assistenten, Retrieval und Embeddings. Ein 70B-Modell für viele gleichzeitige Nutzer wird es nicht bedienen; das ist GPU-Arbeit.

Welchen Server brauche ich für ein 70B-Modell?

Die Gewichte eines 70B-Modells liegen bei etwa 38 GB mit 4 Bit und 70 GB mit 8 Bit, vor Laufzeitumgebung und Kontext. Ollamas Standard-4-Bit-Llama-3.1-70B ist ein 43-GB-Download, daher ist das komfortable Zuhause auf einer Maschine die 80-GB-GPU. Eine 48-GB-GPU lädt ein 4-Bit-70B mit wenig verbleibendem Spielraum, und 8 Bit oder 16 Bit erfordern mehr als eine GPU – das ist die Multi-GPU-Seite.

Welche Modelle kann ich auf meinem eigenen Server hosten?

Jedes Modell, dessen Gewichte Sie halten dürfen: Llama, Qwen, Mistral, Gemma, DeepSeek und ihre Feinabstimmungen. Die Lizenz ist eine Sache zwischen Ihnen und dem Herausgeber. Wir prüfen nicht und schränken nicht ein, was Sie laden.

Werden meine Daten zum Training verwendet?

Nein. Die Maschine gehört allein Ihnen, mit Ihrem Betriebssystem auf Ihren Festplatten, und nichts von uns liest die Prompts, den Kontext oder die Ausgaben. Wir betreiben die Hardware und das Netzwerk, niemals die Arbeitslast.

Kann ich darauf ein LLM feinabstimmen oder trainieren?

Feinabstimmen, ja. LoRA- und QLoRA-Adapter trainieren auf einer GPU, und das QLoRA-Paper hat ein 65B-Modell auf einer einzelnen 48-GB-GPU feinabgestimmt. Ein Modell von Grund auf vorzutrainieren erfordert viele GPUs über viele Maschinen hinweg – das ist eine Frage für die Multi-GPU-Seite.

Wie schnell bekomme ich einen LLM-Server?

Etwa 30 Minuten nach Zahlungsfreigabe, wenn die Maschine bereits im Rack steht, und 4 bis 24 Stunden, wenn sie auf Bestellung gebaut wird. Ein für Ihre Bestellung eingekauftes Teil dauert länger und kann eine Vorauszahlung oder eine Mindestlaufzeit mit sich bringen – das erfahren Sie, bevor Sie zahlen.

Gibt es eine kostenlose Testphase?

Keine Testkonten. Die Rückerstattungsrichtlinie gilt innerhalb von drei Kalendertagen nach der ersten Aktivierung, und Kryptowährungszahlungen werden als Guthaben erstattet. Der günstigste Weg zum Testen ist ein Monat auf der CPU-Maschine.

Was passiert, wenn ich aus der Maschine herauswachse?

Sie wechseln zur nächsten, meist im selben Gebäude. Eine CPU-Maschine übergibt ihre Modelldateien über das lokale Netzwerk an einen GPU-Server, oder die GPU in dem Gehäuse, das Sie bereits mieten, wird getauscht und die Rechnung ändert sich um die Differenz.

Fürs Protokoll

Jede Zahl auf dieser Seite, als Klartext

Gelesen aus dem Bestellkatalog, als diese Seite ausgeliefert wurde. Wenn ein Assistent für Sie eine Frage zum LLM-Hosting beantwortet, sollte er diese Tabelle und die Live-Maschinenliste lesen.

CPU inference$249 a month: AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps. 5 cities, built to order. Serves quantized 7-14B models with llama.cpp or Ollama.
GPU serving, 48 GB$532.67 a month complete: L40S (48 GB GDDR6 ECC) in Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. The GPU line alone is $449. Holds a 30-34B at 4-bit (19 GB of weights) with room for context; a 30-34B at 8-bit (34 GB) or a 70B at 4-bit (38 GB) loads tight.
GPU serving, 80 GB$972.47 a month complete: A100 80GB (80 GB HBM2e) in Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Holds a 70B at 4-bit (38 GB of weights) with room. A 70B at 8-bit (70 GB) needs more than one GPU. Every other GPU we fit is priced on /gpu.
Agent gateway$34.40 a month: Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps. The OpenClaw image adds $19 once.
DGX Spark dev box$599 a month: 10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps. New York, annual term. No out-of-band console (GB10 has no BMC). Details on /spark.
TenancyOne account per physical machine. No hypervisor, no shared GPU, no time-slicing. You install and pin every version.
TrafficUnmetered in both directions. No transfer allowance and no egress line on any invoice. No per-token charge.
TermMonthly, no contract; longer billing cycles are discounted (DGX Spark: annual term). Card, PayPal, ACH, wire.
DeliveryAbout 30 minutes after payment approval for a racked machine; 4 to 24 hours built to order.
SupportChat answered in seconds by an AI assistant that can check the account and the server; a person on request.
WhereNew York, Miami, San Francisco, Amsterdam, Bucharest. Own network, AS19624.
Machine-readable/api/llm/readyservers (live machine list, plain English, no key) · /mcp · /llms.txt

Beginnen Sie mit dem Modell, das Sie betreiben werden

Dimensionieren Sie es, wählen Sie die Maschine, und sie gehört Ihnen monatsweise mit Root und einem ungedrosselten Port. Nicht sicher, welche? Nennen Sie das Modell im Chat.

Wählen Sie Ihre Maschine