MODELOS ABERTOS / Modelos de linguagem (LLM)
Execute dolphin-mixtral:8x7b em uma GPU na nuvem
dolphin-mixtral:8x7b é um modelo de Modelos de linguagem (LLM) da Ollama. Veja quanta memória de GPU ele precisa, em quais GPUs cabe hoje e quanto custa executá-lo você mesmo, com cobrança por segundo.
Do projeto: Uncensored, 8x7b and 8x22b fine-tuned models based on the Mixtral mixture of experts models that excels at coding tasks. Created by Eric Hartford.
GPUs em que cabe hoje
Cerca de 32 GB de memória de GPU: o download do modelo (4 bits por padrão) mais a memória de trabalho.
| GPU | Memória | Por hora | 10 horas | |
|---|---|---|---|---|
| Q RTX 8000 | 45 GB | $0.54 | $5.40 | Alugar |
| RTX 5000Ada | 32 GB | $0.78 | $7.80 | Alugar |
| A100 SXM4 | 80 GB | $0.81 | $8.10 | Alugar |
| A100 PCIE | 40 GB | $0.83 | $8.30 | Alugar |
| CMP 170HX | 64 GB | $0.90 | $9.00 | Alugar |
Preços iniciais ao vivo do nosso catálogo. Você paga por segundo enquanto a máquina roda.
Como executar dolphin-mixtral:8x7b
- 01
Alugue uma GPU
Escolha uma das GPUs acima. A cobrança é por segundo; pare a máquina e a cobrança para.
- 02
Abra um terminal ou o Jupyter
Conecte-se por SSH ou abra o Jupyter no navegador. PyTorch e CUDA já estão prontos.
- 03
Instale o Ollama e execute o modelo
Execute os comandos abaixo. O Ollama baixa o modelo e serve uma API compatível com OpenAI na porta 11434.
curl -fsSL https://ollama.com/install.sh | sh
ollama run dolphin-mixtral:8x7bPor que executar você mesmo?
Seu próprio servidor de LLM não tem cobrança por token nem limite de requisições, e seus dados ficam privados. Escolha a GPU pela memória e sirva o modelo com vLLM.
Perguntas
- Quanta memória de GPU o dolphin-mixtral:8x7b precisa?
- Pela nossa estimativa, cerca de 32 GB para inferência (? parâmetros). Resolução maior, contexto mais longo ou lotes maiores precisam de mais.
- Quanto custa executar o dolphin-mixtral:8x7b?
- A partir de $0.54 por hora em Q RTX 8000, com cobrança por segundo. Dez horas custam cerca de $5.40.
- Preciso de uma assinatura?
- Não. Você paga só pelo tempo em que a máquina roda, usando seu saldo em USD. Pare-a quando terminar.
Experimente na sua própria GPU em minutos
Escolha uma GPU, abra o Jupyter ou o SSH e execute qualquer modelo aberto. Você paga por segundo e pode parar quando quiser; sem assinatura nem taxa de ativação.
- Cobrança por segundo em USD
- PyTorch e CUDA prontos em minutos
- Alugue também pelo ChatGPT ou Claude