corehu
租用 GPU

开源模型 / 语言模型(LLM)

在云 GPU 上运行 lfm2:24b

lfm2:24b 是 Ollama 推出的语言模型(LLM)模型。查看它需要多少显存、今天可以在哪些 GPU 上运行,以及自己运行的费用,按秒计费。

项目简介: LFM2 is a family of hybrid models designed for on-device deployment. LFM2-24B-A2B is the largest model in the family, scaling the architecture to 24 billion parameters while keeping inference efficient.

租用 RTX 2080 Ti $0.20/小时起
参数量
≈ 24B
所需显存
≈ 18 GB
许可证
—
来源
Ollama

今天可运行的 GPU

约 18 GB 显存:模型下载文件(默认 4-bit)加上工作内存。

GPU显存每小时10 小时
RTX 2080 Ti22 GB$0.20$2.00租用
Tesla P4024 GB$0.24$2.40租用
RTX 4000Ada20 GB$0.35$3.50租用
RTX 309024 GB$0.39$3.90租用
Titan RTX24 GB$0.40$4.00租用

价格为目录中的实时起价。机器运行期间按秒付费。

如何运行 lfm2:24b

  1. 01

    租用 GPU

    从上面选择一款 GPU。按秒计费;停止机器即停止计费。

  2. 02

    打开终端或 Jupyter

    通过 SSH 连接,或在浏览器中打开 Jupyter。PyTorch 和 CUDA 已就绪。

  3. 03

    安装 Ollama 并运行模型

    运行下面的命令。Ollama 会下载模型,并在 11434 端口提供兼容 OpenAI 的 API。

curl -fsSL https://ollama.com/install.sh | sh
ollama run lfm2:24b

为什么要自己运行?

自建 LLM 服务器没有按 token 计费,也没有速率限制,数据保持私密。按显存选择 GPU,用 vLLM 部署模型。

常见问题

lfm2:24b 需要多少显存?
按我们的估算,推理约需 18 GB(24B 参数)。更高分辨率、更长上下文或更大批次需要更多显存。
运行 lfm2:24b 要花多少钱?
在 RTX 2080 Ti 上 $0.20/小时起,按秒计费。十小时约 $2.00。
需要订阅吗?
不需要。您只需用 USD 余额支付机器实际运行的时间。用完即可停止。

几分钟内在您自己的 GPU 上试用

选择一款 GPU,打开 Jupyter 或 SSH,运行任意开源模型。按秒付费,随时可以停止;无需订阅,没有开通费。

  • 以 USD 按秒计费
  • PyTorch 和 CUDA 几分钟即可就绪
  • 也可以通过 ChatGPT 或 Claude 租用

类似的语言模型(LLM)模型