CAS D'USAGE
Affinez un LLM avec LoRA sur un GPU dans le cloud
Affinez Llama, Qwen ou Mistral avec LoRA ou QLoRA sur une A100 ou une RTX 5090 et ne payez que le temps d'entraînement.
Facturé à la seconde sur votre solde en USD. Arrêtez ou terminez la machine quand vous avez terminé.
GPU recommandé
A100 SXM4 · RTX 5090
QLoRA sur un modèle de 7B à 14B tient dans 24 à 32 Go. Un LoRA complet sur des modèles plus grands nécessite une A100 80 Go.
Template à choisir
PyTorch
Environnement de développement NVIDIA CUDA + PyTorch, prêt avec SSH et Jupyter.
Opérationnel en quatre étapes
- 1
Louez la machine
Ouvrez le catalogue avec l'A100 et le template PyTorch déjà sélectionnés, puis cliquez sur Louer.
Voir les machines A100 SXM4 - 2
Connectez-vous et envoyez vos données
Connectez-vous avec la commande SSH de la page de votre machine et copiez votre dataset avec scp.
scp -P <PORT> dataset.jsonl root@<HOST>:/root/ - 3
Installez les bibliothèques
Installez la stack d'entraînement Hugging Face, puis lancez votre script d'entraînement.
pip install -U transformers peft trl datasets accelerate bitsandbytes python train.py - 4
Téléchargez l'adaptateur
Copiez l'adaptateur entraîné sur votre ordinateur, puis terminez la machine.
scp -P <PORT> -r root@<HOST>:/root/output ./adapter
Questions
Combien de temps dure un fine-tuning ?
Un entraînement QLoRA sur un modèle 7B avec quelques milliers d'exemples prend généralement moins d'une heure sur une A100.
Et si mon solde baisse pendant l'entraînement ?
Vous recevez d'abord un avertissement. Si le solde est épuisé, la machine est arrêtée et le disque conservé : enregistrez donc souvent des checkpoints.