¿Qué es un servidor de IA dedicado?
Un servidor de IA dedicado es una máquina física alquilada a un solo cliente para ejecutar modelos de IA, con acceso root y sin ningún otro inquilino en el hardware. Los nuestros vienen como máquinas con CPU y 128 GB de memoria para modelos cuantizados, y como servidores con GPU para modelos más grandes y ajuste fino. Tú eliges el sistema operativo y el software; nosotros gestionamos el hardware y la red.
¿Cuánto cuesta el alojamiento de LLM?
En un servidor dedicado es una cifra mensual, no una factura por token. La máquina de inferencia con CPU es $249 a month, un servidor completo con una GPU de 48 GB es $532.67 a month, y la configuración con GPU de 80 GB es $972.47 a month. El tráfico no se mide y el plazo es mensual, sin contrato.
¿Puedo ejecutar un LLM sin GPU?
Sí, para modelos cuantizados de hasta unos 14B de parámetros. Un modelo de 7-8B en 4 bits necesita unos 5 GB y se ejecuta desde la memoria del sistema con llama.cpp u Ollama, lo que basta para un asistente de equipo, recuperación y embeddings. No servirá un 70B a muchos usuarios a la vez; eso es trabajo para GPU.
¿Qué servidor necesito para ejecutar un modelo de 70B?
Los pesos de un modelo de 70B son unos 38 GB en 4 bits y 70 GB en 8 bits, antes del entorno de ejecución y el contexto. El Llama 3.1 70B en 4 bits por defecto de Ollama es una descarga de 43 GB, así que el hogar cómodo en una sola máquina es la GPU de 80 GB. Una GPU de 48 GB carga un 70B en 4 bits con poco margen, y 8 bits o 16 bits requieren más de una GPU, que es la página multi-GPU.
¿Qué modelos puedo alojar en mi propio servidor?
Cualquier modelo cuyos pesos tengas permitido tener: Llama, Qwen, Mistral, Gemma, DeepSeek y sus ajustes finos. La licencia es entre tú y el editor. Nosotros no inspeccionamos ni restringimos lo que cargas.
¿Se usan mis datos para entrenar algo?
No. La máquina es solo tuya, con tu sistema operativo en tus discos, y nada nuestro lee los prompts, el contexto ni las salidas. Nosotros operamos el hardware y la red, nunca la carga de trabajo.
¿Puedo hacer ajuste fino o entrenar un LLM en él?
Ajuste fino, sí. Los adaptadores LoRA y QLoRA se entrenan en una GPU, y el artículo de QLoRA ajustó un modelo de 65B en una sola GPU de 48 GB. Preentrenar un modelo desde cero requiere muchas GPU en muchas máquinas, lo que es una cuestión para la página multi-GPU.
¿Con qué rapidez puedo tener un servidor LLM?
Unos 30 minutos después de aprobarse el pago cuando la máquina ya está en rack, y de 4 a 24 horas cuando se construye bajo pedido. Una pieza comprada para tu pedido tarda más y puede conllevar un pago inicial o un plazo mínimo, y se te informa antes de pagar.
¿Hay una prueba gratuita?
No hay cuentas de prueba. La política de reembolso se aplica dentro de los tres días naturales posteriores a la primera activación, y los pagos con criptomonedas se reembolsan como crédito en la tienda. La forma más barata de probar es un mes en la máquina con CPU.
¿Qué pasa cuando me quedo pequeña la máquina?
Pasas a la siguiente, normalmente en el mismo edificio. Una máquina con CPU entrega sus archivos de modelo a un servidor con GPU por la red local, o se cambia la GPU del chasis que ya alquilas y la factura cambia por la diferencia.