اختيار GPU للضبط الدقيق للنماذج اللغوية (دليل VRAM)

أثناء الضبط الدقيق تتقاسم الذاكرة أوزان النموذج والتدرجات وحالة المحسّن (نحو ضعف الأوزان لـ Adam) والتنشيطات. وإذا لم تتسع هذه المجموعة في VRAM فلن يبدأ التدريب؛ وحتى إن اتسعت، فالأعباء التي تعمل عند الحد تتقهقر تحت ضغط الذاكرة وتنهار كفاءة GPU.

لذلك فاختيار GPU مسألة ذاكرة قبل قدرة معالجة: فالبطاقة متوسطة السرعة ذات VRAM الصحيح أكفأ دائمًا من البطاقة السريعة ذات VRAM الناقصة.

القيم التالية نطاقات عملية لتدريب bf16 وأطوال تسلسل نموذجية؛ وتقترب من الحد الأعلى مع زيادة طول التسلسل وحجم الدفعة.

• ضبط دقيق كامل لنموذج 7B: وزن ~14 GB + حالة Adam ~56 GB + تدرج ~14 GB → عمليًا 2 × 80 GB مريح، و1 × 80 GB ضيق.
• ضبط دقيق كامل لنموذج 13B: يُنصح بـ 2 × 80 GB.
• ضبط دقيق كامل لنموذج 34B: يلزم فئة 4 × 80 GB.
• ضبط دقيق كامل لنموذج 70B: يلزم فئة 8 × 80 GB (A100/H100) وتفرقة متعددة البطاقات.
• LoRA/QLoRA: نموذج 7–13B ممكن على بطاقة واحدة 24–48 GB؛ وفي 70B يكون QLoRA على بطاقة 80 GB واحدة ممارسة شائعة.

تجمّد LoRA مصفوفات الأوزان وتدرّب فقط مصفات تحديث صغيرة منخفضة الرتبة؛ ويكون نسبة المعاملات القابلة للتدريب عادة بين 0.1% و1%. وهذا يلغي الجزء الأكبر من حالة المحسّن وذاكرة التدرجات.

وتذهب QLoRA خطوة أبعد: يُكمم النموذج الأساسي إلى 4 بت (NF4) ويُرفع انتقائيًا إلى 16 أثناء الحساب. وهذا هو المعيار لضبط نماذج فئة 70B على بطاقة واحدة للفرق الأصغر نسبيًا؛ ويعتمد فقد الجودة على المهمة وجودة البيانات ويجب قياسه دائمًا.

تنمو ذاكرة التنشيط تقريبًا خطيًا مع طول التسلسل، وتنمو تربيعيًا في طبقة الانتباه. فرفع تسلسل من 2.048 رمزًا إلى 8.192 يزيد ذاكرة التدريب بشدة دون أي تغيير في أوزان النموذج.

حجم الدفعة الفعلي = دفعة لكل بطاقة × خطوة تجميع التدرجات. وعند ضيق الذاكرة، اخفض أولًا طول التسلسل ودفعة كل بطاقة، ثم عُد إلى حجم الدفعة الفعلي المطلوب عبر التجميع.

• فئة 24 GB (مثل RTX 4090): ضبط دقيق 7–13B عبر QLoRA؛ مثالي لدورة التجربة والتطوير السريعة.
• فئة 48 GB (مثل L40S/A6000): ضبط دقيق كامل 7B أو QLoRA لـ 13–34B.
• فئة 80 GB (A100/H100): QLoRA لـ 70B وضبط دقيق كامل 13B؛ وهي المعيار لكل عقدة في الأعمال متعددة البطاقات.
• إذا لزم تدريب متعدد البطاقات فاستأجر البطاقات كعقدة/عنقود واحد معًا لا منفصلة؛ فـ NVLink والشبكة منخفضة الكمون أمران حاسمان.

• عدد معاملات النموذج والطريقة المستهدفة (كامل / LoRA / QLoRA).
• أقصى طول تسلسل وحجم الدفعة الفعلي المستهدف.
• حجم مجموعة البيانات والحاجة إلى تخزين دائم على القرص.
• قِس الاستخدام الفعلي للذاكرة بإيجار تجريبي قصير؛ وتحقق من جدول الحسابات ميدانيًا.