MODELOS ABERTOS / Modelos de linguagem (LLM)
Execute zero-to-sglang em uma GPU na nuvem
zero-to-sglang é um modelo de Modelos de linguagem (LLM) da datawhalechina. Veja quanta memória de GPU ele precisa, em quais GPUs cabe hoje e quanto custa executá-lo você mesmo, com cobrança por segundo.
Do projeto: Official SGLang x Datawhale course on LLM inference: understand inference, build a mini-sglang from scratch, then read the real SGLang source and land your first PR. Available in English and Chinese.
GPUs em que cabe hoje
Memória de GPU típica para esse tipo de app: cerca de 16 GB. Modelos maiores e resoluções mais altas precisam de mais.
| GPU | Memória | Por hora | 10 horas | |
|---|---|---|---|---|
| RTX A4000 | 16 GB | $0.19 | $1.90 | Alugar |
| RTX 2080 Ti | 22 GB | $0.20 | $2.00 | Alugar |
| RTX 5060 Ti | 16 GB | $0.20 | $2.00 | Alugar |
| Tesla V100 | 16 GB | $0.22 | $2.20 | Alugar |
| Q RTX 5000 | 16 GB | $0.24 | $2.40 | Alugar |
Preços iniciais ao vivo do nosso catálogo. Você paga por segundo enquanto a máquina roda.
Como executar zero-to-sglang
- 01
Alugue uma GPU
Escolha uma das GPUs acima. A cobrança é por segundo; pare a máquina e a cobrança para.
- 02
Abra um terminal ou o Jupyter
Conecte-se por SSH ou abra o Jupyter no navegador. PyTorch e CUDA já estão prontos.
- 03
Clone o app e siga o README
Execute os comandos abaixo e depois siga o README do projeto. A maioria dos apps inicia uma interface web que você abre pelas portas da máquina.
git clone https://github.com/datawhalechina/zero-to-sglang.git
cd zero-to-sglangPor que executar você mesmo?
Seu próprio servidor de LLM não tem cobrança por token nem limite de requisições, e seus dados ficam privados. Escolha a GPU pela memória e sirva o modelo com vLLM.
Perguntas
- Quanta memória de GPU o zero-to-sglang precisa?
- Pela nossa estimativa, cerca de 16 GB para inferência (? parâmetros). Resolução maior, contexto mais longo ou lotes maiores precisam de mais.
- Quanto custa executar o zero-to-sglang?
- A partir de $0.19 por hora em RTX A4000, com cobrança por segundo. Dez horas custam cerca de $1.90.
- Preciso de uma assinatura?
- Não. Você paga só pelo tempo em que a máquina roda, usando seu saldo em USD. Pare-a quando terminar.
Experimente na sua própria GPU em minutos
Escolha uma GPU, abra o Jupyter ou o SSH e execute qualquer modelo aberto. Você paga por segundo e pode parar quando quiser; sem assinatura nem taxa de ativação.
- Cobrança por segundo em USD
- PyTorch e CUDA prontos em minutos
- Alugue também pelo ChatGPT ou Claude