СЦЕНАРИЙ
Дообучение LLM с LoRA на облачном GPU
Дообучайте Llama, Qwen или Mistral с LoRA или QLoRA на A100 или RTX 5090 и платите только за время обучения.
Посекундная оплата с вашего баланса в USD. Когда закончите, остановите или завершите машину.
Рекомендуемый GPU
A100 SXM4 · RTX 5090
QLoRA для модели 7B–14B умещается в 24–32 ГБ. Для полного LoRA на более крупных моделях нужна A100 80 ГБ.
Какой шаблон выбрать
PyTorch
Среда разработки NVIDIA CUDA + PyTorch, готова к работе с SSH и Jupyter.
Запуск за четыре шага
- 1
Арендуйте машину
Откройте каталог с уже выбранными A100 и шаблоном PyTorch и нажмите «Арендовать».
Смотреть машины A100 SXM4 - 2
Подключитесь и загрузите данные
Подключитесь командой SSH со страницы вашей машины и скопируйте датасет через scp.
scp -P <PORT> dataset.jsonl root@<HOST>:/root/ - 3
Установите библиотеки
Установите стек обучения Hugging Face, затем запустите свой скрипт обучения.
pip install -U transformers peft trl datasets accelerate bitsandbytes python train.py - 4
Скачайте адаптер
Скопируйте обученный адаптер на свой компьютер, затем завершите машину.
scp -P <PORT> -r root@<HOST>:/root/output ./adapter
Вопросы
Сколько длится дообучение?
Запуск QLoRA на модели 7B с несколькими тысячами примеров на A100 обычно занимает меньше часа.
Что, если баланс подходит к концу во время обучения?
Сначала вы получите предупреждение. Если баланс закончится, машина будет остановлена, а диск сохранится, поэтому чаще сохраняйте чекпоинты.