O que é um servidor de IA dedicado?
Um servidor de IA dedicado é uma máquina física alugada a um cliente para executar modelos de IA, com acesso root e nenhum outro inquilino no hardware. Os nossos vêm como máquinas CPU com 128 GB de memória para modelos quantizados, e como servidores GPU para modelos maiores e fine-tuning. Você escolhe o sistema operativo e o software; nós gerimos o hardware e a rede.
Quanto custa o alojamento de LLM?
Num servidor dedicado é um valor mensal, não uma conta por token. A máquina de inferência CPU é $249 a month, um servidor completo com uma GPU de 48 GB é $532.67 a month, e a configuração com GPU de 80 GB é $972.47 a month. O tráfego não é medido e o prazo é mensal, sem contrato.
Posso executar um LLM sem GPU?
Sim, para modelos quantizados até cerca de 14B parâmetros. Um modelo de 7-8B em 4 bits precisa de cerca de 5 GB e corre a partir da memória do sistema com llama.cpp ou Ollama, o que chega para um assistente de equipa, recuperação e embeddings. Não servirá um 70B a muitos utilizadores ao mesmo tempo; isso é trabalho para GPU.
Que servidor preciso para executar um modelo 70B?
Os pesos de um modelo 70B são cerca de 38 GB em 4 bits e 70 GB em 8 bits, antes do runtime e do contexto. O Llama 3.1 70B em 4 bits predefinido do Ollama é um download de 43 GB, por isso a casa confortável numa só máquina é a GPU de 80 GB. Uma GPU de 48 GB carrega um 70B em 4 bits com pouco espaço restante, e 8 bits ou 16 bits precisam de mais do que uma GPU, que é a página multi-GPU.
Que modelos posso alojar no meu próprio servidor?
Qualquer modelo cujos pesos lhe seja permitido deter: Llama, Qwen, Mistral, Gemma, DeepSeek e os seus fine-tunes. A licença é entre si e o editor. Nós não inspecionamos nem restringimos o que carrega.
Os meus dados são usados para treinar alguma coisa?
Não. A máquina é só sua, com o seu sistema operativo nos seus discos, e nada do que é nosso lê os prompts, o contexto ou os resultados. Nós operamos o hardware e a rede, nunca a carga de trabalho.
Posso fazer fine-tuning ou treinar um LLM nele?
Fine-tuning, sim. Os adaptadores LoRA e QLoRA treinam numa GPU, e o artigo do QLoRA fez fine-tuning de um modelo 65B numa única GPU de 48 GB. Pré-treinar um modelo de raiz exige muitas GPUs em muitas máquinas, o que é uma questão para a página multi-GPU.
Com que rapidez posso ter um servidor de LLM?
Cerca de 30 minutos após a aprovação do pagamento quando a máquina já está em rack, e 4 a 24 horas quando é montada por encomenda. Uma peça comprada para a sua encomenda demora mais e pode implicar uma parte inicial ou um prazo mínimo, e é informado antes de pagar.
Há um teste gratuito?
Não há contas de teste. A política de reembolso aplica-se no prazo de três dias de calendário após a primeira ativação, e os pagamentos em criptomoeda são reembolsados como crédito na loja. A forma mais barata de testar é um mês na máquina CPU.
O que acontece quando a máquina fica pequena?
Passa para a seguinte, normalmente no mesmo edifício. Uma máquina CPU entrega os seus ficheiros de modelo a um servidor GPU pela rede local, ou a GPU no chassis que já aluga é trocada e a fatura muda pela diferença.