在云 GPU 上运行 awesome-local-llm
awesome-local-llm 是 rafska 推出的语言模型（LLM）模型。查看它需要多少显存、今天可以在哪些 GPU 上运行，以及自己运行的费用，按秒计费。
项目简介： A curated list of awesome platforms, tools, practices and resources that helps run LLMs locally
租用 RTX A4000 $0.19/小时起
参数量
—
所需显存
≈ 16 GB
许可证
MIT
GitHub 星标
3,068
更新于 2026年11月13日
今天可运行的 GPU
此类应用的典型显存：约 16 GB。更大的模型和更高的分辨率需要更多。
| GPU | 显存 | 每小时 | 10 小时 | |
|---|---|---|---|---|
| RTX A4000 | 16 GB | $0.19 | $1.90 | 租用 |
| RTX 2080 Ti | 22 GB | $0.20 | $2.00 | 租用 |
| RTX 5060 Ti | 16 GB | $0.20 | $2.00 | 租用 |
| Tesla V100 | 16 GB | $0.22 | $2.20 | 租用 |
| Q RTX 5000 | 16 GB | $0.24 | $2.40 | 租用 |
价格为目录中的实时起价。机器运行期间按秒付费。
如何运行 awesome-local-llm
- 01
租用 GPU
从上面选择一款 GPU。按秒计费；停止机器即停止计费。
- 02
打开终端或 Jupyter
通过 SSH 连接，或在浏览器中打开 Jupyter。PyTorch 和 CUDA 已就绪。
- 03
克隆应用并按照 README 操作
运行下面的命令，然后按照项目的 README 操作。大多数应用会启动一个可通过机器端口打开的网页界面。
git clone https://github.com/rafska/awesome-local-llm.git
cd awesome-local-llm为什么要自己运行？
自建 LLM 服务器没有按 token 计费，也没有速率限制，数据保持私密。按显存选择 GPU，用 vLLM 部署模型。
常见问题
- awesome-local-llm 需要多少显存？
- 按我们的估算，推理约需 16 GB（? 参数）。更高分辨率、更长上下文或更大批次需要更多显存。
- 运行 awesome-local-llm 要花多少钱？
- 在 RTX A4000 上 $0.19/小时起，按秒计费。十小时约 $1.90。
- 需要订阅吗？
- 不需要。您只需用 USD 余额支付机器实际运行的时间。用完即可停止。
几分钟内在您自己的 GPU 上试用
选择一款 GPU，打开 Jupyter 或 SSH，运行任意开源模型。按秒付费，随时可以停止；无需订阅，没有开通费。
- 以 USD 按秒计费
- PyTorch 和 CUDA 几分钟即可就绪
- 也可以通过 ChatGPT 或 Claude 租用