GPU-Auswahl für LLM-Feintuning (VRAM-Guide)

Während des Feintunings teilen sich im Speicher Modellgewichte, Gradienten, Optimierungszustand (für Adam etwa das Doppelte der Gewichte) und Aktivierungen. Passt diese Summe nicht in den VRAM, startet das Training nicht; läuft sie knapp, geraten Workloads unter Speicherdruck in den Tausch und die GPU-Effizienz bricht ein.

Die GPU-Auswahl ist daher vor allem ein Speicherproblem: Eine mittelschnelle Karte mit ausreichend VRAM ist immer effizienter als eine schnelle Karte mit zu wenig VRAM.

Die folgenden Werte sind praktische Bereiche für bf16-Training und typische Sequenzlängen; mit zunehmender Sequenzlänge und Batchgröße näherst du dich der oberen Grenze.

• 7B Voll-Feintuning: Gewicht ~14 GB + Adam-Zustand ~56 GB + Gradient ~14 GB → praktisch 2 × 80 GB entspannt, 1 × 80 GB knapp.
• 13B Voll-Feintuning: 2 × 80 GB empfohlen.
• 34B Voll-Feintuning: 4 × 80 GB-Klasse erforderlich.
• 70B Voll-Feintuning: 8 × 80 GB (A100/H100)-Klasse und Multi-GPU-Parallelität zwingend.
• LoRA/QLoRA: 7–13B-Modell auf einer einzigen 24–48-GB-Karte möglich; für 70B ist QLoRA auf einer 80-GB-Karte gängige Praxis.

LoRA friert die Gewichtsmatrizen ein und trainiert nur kleine Low-Rank-Aktualisierungsmatrizen; der Anteil trainierbarer Parameter liegt typischerweise zwischen 0,1 % und 1 %. Das eliminiert den Großteil des Optimierungszustands und des Gradientenspeichers.

QLoRA geht einen Schritt weiter: Das Basismodell wird mit 4 Bit (NF4) quantisiert und während der Berechnung selektiv auf 16 Bit erweitert. Für vergleichsweise kleine Teams ist das der Standard, um Modelle der 70B-Klasse auf einer einzigen Karte feinzujustieren; der Qualitätsverlust hängt von Aufgabe und Datenqualität ab und muss immer gemessen werden.

Der Aktivierungsspeicher wächst mit der Sequenzlänge etwa linear, in der Attention-Schicht aber quadratisch. Eine Sequenz von 2.048 auf 8.192 Token zu erhöhen, verändert nichts an den Modellgewichten, erhöht aber den Trainingspeicher deutlich.

Effektive Batchgröße = Batch pro Karte × Schritte der Gradientenakkumulation. Wenn der Speicher nicht reicht, reduziere zuerst Sequenzlänge und Batch pro Karte und kompensiere dann mit Gradientenakkumulation auf deine gewünschte effektive Batchgröße.

• 24-GB-Klasse (z. B. RTX 4090): 7–13B-Feintuning mit QLoRA; ideal für schnelle Tests und Entwicklungszyklen.
• 48-GB-Klasse (z. B. L40S/A6000): 7B Voll-Feintuning oder 13–34B QLoRA.
• 80-GB-Klasse (A100/H100): 70B QLoRA, 13B Voll-Feintuning; Standard pro Knoten bei Multi-GPU-Jobs.
• Wenn Multi-GPU-Training nötig ist, miete die Karten nicht einzeln, sondern zusammen denselben Knoten/Cluster; NVLink und latenzarmes Netz sind kritisch.

• Parameterzahl des Modells und Zielmethode (voll / LoRA / QLoRA).
• Maximale Sequenzlänge und Ziel-Batchgröße.
• Größe des Datensatzes und Bedarf an persistentem Speicher.
• Miss die reale Speichernutzung mit einer kurzen Testmiete und validiere die Rechentabelle im Feld.