MODÈLES OUVERTS / Modèles vision-langage
Exécuter llama4:128x17b sur un GPU cloud
llama4:128x17b est un modèle Modèles vision-langage de Ollama. Découvrez la mémoire GPU nécessaire, les GPU sur lesquels il tient aujourd'hui et le coût pour l'exécuter vous-même, facturé à la seconde.
Du projet : Meta's latest collection of multimodal models.
GPU compatibles aujourd'hui
Environ 283 Go de mémoire GPU : le téléchargement du modèle (4 bits par défaut) plus la mémoire de travail.
| GPU | Mémoire | Par heure | 10 heures | |
|---|---|---|---|---|
| 4× A100 SXM4 | 320 GB | $3.00 | $30.00 | Louer |
| 8× Q RTX 8000 | 360 GB | $4.32 | $43.20 | Louer |
| 4× RTX PRO 6000 Max-Q | 384 GB | $7.72 | $77.20 | Louer |
| 9× RTX 5090 | 288 GB | $9.09 | $90.90 | Louer |
| 8× L40S | 384 GB | $9.20 | $92.00 | Louer |
Prix de départ en direct depuis notre catalogue. Vous payez à la seconde tant que la machine tourne.
Comment exécuter llama4:128x17b
- 01
Louez un GPU
Choisissez l'un des GPU ci-dessus. Facturation à la seconde ; arrêtez la machine et la facturation s'arrête.
- 02
Ouvrez un terminal ou Jupyter
Connectez-vous en SSH ou ouvrez Jupyter dans votre navigateur. PyTorch et CUDA sont prêts.
- 03
Installez Ollama et lancez le modèle
Exécutez les commandes ci-dessous. Ollama télécharge le modèle et sert une API compatible OpenAI sur le port 11434.
curl -fsSL https://ollama.com/install.sh | sh
ollama run llama4:128x17bPourquoi l'exécuter vous-même ?
Exécutez la compréhension de documents et d'images sur votre propre GPU : aucun frais par image, vos fichiers restent sur votre machine.
Questions
- De combien de mémoire GPU llama4:128x17b a-t-il besoin ?
- Selon notre estimation, environ 283 Go pour l'inférence (? paramètres). Une résolution plus élevée, un contexte plus long ou des lots plus grands demandent davantage.
- Combien coûte l'exécution de llama4:128x17b ?
- À partir de $3.00 de l'heure sur 4× A100 SXM4, facturé à la seconde. Dix heures coûtent environ $30.00.
- Faut-il un abonnement ?
- Non. Vous payez uniquement le temps de fonctionnement de votre machine, depuis votre solde en USD. Arrêtez-la quand vous avez terminé.
Essayez-le sur votre propre GPU en quelques minutes
Choisissez un GPU, ouvrez Jupyter ou SSH et exécutez n'importe quel modèle ouvert. Vous payez à la seconde et pouvez arrêter à tout moment ; sans abonnement ni frais d'installation.
- Facturation à la seconde en USD
- PyTorch et CUDA prêts en quelques minutes
- Louez aussi depuis ChatGPT ou Claude