corehu
Louer un GPU

CAS D'USAGE

Exécutez Llama et d'autres LLM ouverts sur un GPU dans le cloud

Discutez avec Llama, Qwen ou Mistral, ou servez-les via une API avec Ollama. Le template Ollama démarre le serveur pour vous.

Voir les machines RTX 4090 Vérification des prix en direct…

Facturé à la seconde sur votre solde en USD. Arrêtez ou terminez la machine quand vous avez terminé.

GPU recommandé

RTX 4090 · RTX 5090 · A100 SXM4

Les modèles de 8B à 14B tiennent sur une RTX 4090 de 24 Go. Pour les modèles de 32B à 70B, choisissez une RTX 5090 ou une A100 80 Go.

Template à choisir

Ollama

Lancez des LLM en une seule commande ; API compatible OpenAI incluse.

Opérationnel en quatre étapes

  1. 1

    Louez la machine

    Ouvrez le catalogue avec le template Ollama déjà sélectionné, choisissez un GPU et cliquez sur Louer.

    Voir les machines RTX 4090
  2. 2

    Connectez-vous en SSH

    Copiez la commande SSH depuis la page de votre machine. Ajoutez la redirection de port si vous voulez appeler l'API depuis votre ordinateur.

    ssh -p <PORT> root@<HOST> -L 11434:localhost:11434

    La commande SSH se trouve sur la page de votre machine. La partie -L redirige le port pour que l'application s'ouvre dans votre propre navigateur.

  3. 3

    Téléchargez un modèle et discutez

    Ollama tourne déjà. Récupérez un modèle et commencez à discuter.

    ollama run llama3.1:8b
  4. 4

    Utilisez l'API

    Ollama expose une API compatible OpenAI sur le port 11434.

    curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

Questions

Mes données servent-elles à entraîner quoi que ce soit ?

Non. Le modèle tourne sur votre machine louée ; les prompts et les réponses y restent.

Puis-je l'utiliser depuis mon application ?

Oui. Pointez un client compatible OpenAI vers http://localhost:11434/v1 via le tunnel SSH.