LLM ince ayarı için GPU seçimi (VRAM rehberi)

İnce ayar sırasında bellekte model ağırlıkları, gradyanlar, optimizasyon durumu (Adam için ağırlıkların kabaca iki katı) ve aktivasyonlar birlikte durur. Bu toplam VRAM’e sığmazsa eğitim başlamaz; sığsa bile sınırda çalışan iş yükleri bellek baskısı altında takasa düşer ve GPU verimi çöker.

Bu yüzden GPU seçimi işlemci gücünden önce bellek sorunudur: doğru VRAM’e sahip orta hızlı kart, yetmez VRAM’li hızlı karttan her zaman daha verimlidir.

Aşağıdaki değerler bf16 eğitim ve tipik dizi uzunlukları için pratik aralıklardır; dizi uzunluğu ve batch size arttıkça üst sınıra yaklaşırsınız.

• 7B tam ince ayar: ağırlık ~14 GB + Adam durumu ~56 GB + gradyan ~14 GB → pratikte 2 × 80 GB rahat, 1 × 80 GB sıkışık.
• 13B tam ince ayar: 2 × 80 GB önerilir.
• 34B tam ince ayar: 4 × 80 GB sınıfı gerekir.
• 70B tam ince ayar: 8 × 80 GB (A100/H100) sınıfı ve çok kartlı paralellik şarttır.
• LoRA/QLoRA: 7–13B model tek 24–48 GB kartta mümkündür; 70B için 80 GB tek kartta QLoRA yaygın pratiktir.

LoRA, ağırlık matrislerini dondurup yalnızca küçük düşük rütbeli güncelleme matrislerini eğitir; eğitilebilir parametre oranı tipik olarak %0,1–1 aralığındadır. Bu, optimizasyon durunun büyük bölümünü ve gradyan belleğini ortadan kaldırır.

QLoRA bunu bir adım öteye taşır: temel model 4 bit (NF4) olarak kuantize edilir, hesaplama sırasında seçici olarak 16 bit’e çıkarılır. Görece küçük ekipler için 70B sınıfı modelleri tek kartta ince ayarlamanın standardı budur; kalite kaybı görev ve veri kalitesine bağlıdır ve her zaman ölçülmelidir.

Aktivasyon belleği dizi uzunluğuyla kabaca lineal, dikkat katmanında ise kare oranında büyür. 2.048 token’lık bir diziyi 8.192’ye çıkarmak, model ağırlığında hiçbir değişiklik yapmazken eğitim belleğini belirgin artırır.

Efektif batch size = kart başına batch × gradyan biriktirme adımıdır. Bellek sığmadığında önce dizi uzunluğunu ve kart başına batch’i düşürün, ardından gradyan biriktirme ile istediğiniz efektif batch’e geri dönün.

• 24 GB sınıfı (ör. RTX 4090): QLoRA ile 7–13B ince ayar; hızlı deneme ve geliştirme döngüsü için ideal.
• 48 GB sınıfı (ör. L40S/A6000): 7B tam ince ayar veya 13–34B QLoRA.
• 80 GB sınıfı (A100/H100): 70B QLoRA, 13B tam ince ayar; çok kartlı işlerde düğüm başına standart.
• Çok kartlı eğitim gerekiyorsa kartları ayrı ayrı değil, aynı düğüm/kümeyi birlikte kiralayın; NVLink ve düşük gecikmeli ağ kritiktir.

• Modelin parametre sayısı ve hedef yöntem (tam / LoRA / QLoRA).
• Maksimum dizi uzunluğu ve hedef efektif batch size.
• Veri seti boyutu ve diskte kalıcı depolama ihtiyacı.
• Kısa bir deneme kiralamasıyla gerçek bellek kullanımını ölçün; hesap tablosunu sahada doğrulayın.