ANWENDUNGSFALL
Ein LLM mit LoRA auf einer Cloud-GPU feintunen
Feintunen Sie Llama, Qwen oder Mistral mit LoRA oder QLoRA auf einer A100 oder RTX 5090 und zahlen Sie nur für die Trainingszeit.
Sekundengenaue Abrechnung über Ihr USD-Guthaben. Stoppen oder beenden Sie die Maschine, wenn Sie fertig sind.
Empfohlene GPU
A100 SXM4 · RTX 5090
QLoRA auf einem 7B–14B-Modell passt in 24–32 GB. Volles LoRA auf größeren Modellen braucht eine A100 80 GB.
Passende Vorlage
PyTorch
NVIDIA-CUDA- und PyTorch-Entwicklungsumgebung, bereit mit SSH und Jupyter.
In vier Schritten startklar
- 1
Maschine mieten
Öffnen Sie den Katalog mit vorausgewählter A100 und PyTorch-Vorlage und klicken Sie auf Mieten.
A100 SXM4-Maschinen ansehen - 2
Verbinden und Daten hochladen
Verbinden Sie sich mit dem SSH-Befehl von der Seite Ihrer Maschine und kopieren Sie Ihren Datensatz mit scp.
scp -P <PORT> dataset.jsonl root@<HOST>:/root/ - 3
Bibliotheken installieren
Installieren Sie den Hugging Face Trainings-Stack und starten Sie dann Ihr Trainingsskript.
pip install -U transformers peft trl datasets accelerate bitsandbytes python train.py - 4
Adapter herunterladen
Kopieren Sie den trainierten Adapter auf Ihren Computer und beenden Sie dann die Maschine.
scp -P <PORT> -r root@<HOST>:/root/output ./adapter
Fragen
Wie lange dauert ein Fine-Tuning?
Ein QLoRA-Lauf auf einem 7B-Modell mit einigen tausend Beispielen dauert auf einer A100 meist weniger als eine Stunde.
Was passiert, wenn mein Guthaben während des Trainings knapp wird?
Sie erhalten zuerst eine Warnung. Ist das Guthaben aufgebraucht, wird die Maschine gestoppt und die Festplatte bleibt erhalten – speichern Sie also regelmäßig Checkpoints.