使用场景

在云 GPU 上用 LoRA 微调 LLM

在 A100 或 RTX 5090 上用 LoRA 或 QLoRA 微调 Llama、Qwen 或 Mistral，只为训练时间付费。

查看 A100 SXM4 机器正在查询实时价格…

从您的 USD 余额中按秒计费。用完后请停止或终止机器。

推荐 GPU

A100 SXM4 · RTX 5090

7B–14B 模型的 QLoRA 可在 24–32 GB 内完成。更大模型的完整 LoRA 需要 A100 80 GB。

选用模板

PyTorch

NVIDIA CUDA + PyTorch 开发环境，已配好 SSH 和 Jupyter。

四步即可上手

1
租用机器
打开已预选 A100 和 PyTorch 模板的目录，然后点击“租用”。
查看 A100 SXM4 机器
2
连接并上传数据
使用机器页面上的 SSH 命令连接，并用 scp 复制您的数据集。
```
$ scp -P <PORT> dataset.jsonl root@<HOST>:/root/
```
3
安装依赖库
安装 Hugging Face 训练工具栈，然后运行您的训练脚本。
```
$ pip install -U transformers peft trl datasets accelerate bitsandbytes
python train.py
```
4
下载适配器
将训练好的适配器复制回您的电脑，然后终止机器。
```
$ scp -P <PORT> -r root@<HOST>:/root/output ./adapter
```

常见问题

微调需要多长时间？

在 A100 上，用几千条样本对 7B 模型进行 QLoRA 训练，通常不到一小时。

训练期间余额不足怎么办？

您会先收到警告。如果余额用完，机器会被停止，磁盘会保留，因此请经常保存检查点。