corehu
Alugar uma GPU

CASO DE USO

Execute Llama e outros LLMs abertos em uma GPU na nuvem

Converse com Llama, Qwen ou Mistral, ou disponibilize-os por API com Ollama. O template Ollama inicia o servidor para você.

Ver máquinas RTX 4090 Verificação de preços em tempo real…

Cobrança por segundo a partir do seu saldo em USD. Pare ou finalize a máquina quando terminar.

GPU recomendada

RTX 4090 · RTX 5090 · A100 SXM4

Modelos de 8B–14B cabem em uma RTX 4090 de 24 GB. Para modelos de 32B–70B, escolha uma RTX 5090 ou uma A100 80 GB.

Template a escolher

Ollama

Execute LLM com um único comando; API compatível com OpenAI incluída.

Pronto a usar em quatro passos

  1. 1

    Alugue a máquina

    Abra o catálogo com o template Ollama já selecionado, escolha uma GPU e clique em Alugar.

    Ver máquinas RTX 4090
  2. 2

    Conecte-se por SSH

    Copie o comando SSH da página da sua máquina. Adicione o encaminhamento de porta se quiser chamar a API a partir do seu computador.

    ssh -p <PORT> root@<HOST> -L 11434:localhost:11434

    O comando SSH está na página da sua máquina. A parte -L encaminha a porta para que a aplicação abra no seu próprio navegador.

  3. 3

    Obtenha um modelo e converse

    O Ollama já está em execução. Faça o pull de um modelo e comece a conversar.

    ollama run llama3.1:8b
  4. 4

    Use a API

    O Ollama oferece uma API compatível com OpenAI na porta 11434.

    curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

Perguntas

Os meus dados são usados para treinar algo?

Não. O modelo é executado na sua máquina alugada; prompts e respostas ficam nela.

Posso usá-lo a partir da minha aplicação?

Sim. Aponte um cliente compatível com OpenAI para http://localhost:11434/v1 através do túnel SSH.