在云 GPU 上运行 Gemma-4-31B-it-DECKARD-HERETIC-Uncensored-NVFP4
Gemma-4-31B-it-DECKARD-HERETIC-Uncensored-NVFP4 是 AEON-7 推出的语言模型(LLM)模型。查看它需要多少显存、今天可以在哪些 GPU 上运行,以及自己运行的费用,按秒计费。
租用 Q RTX 8000 $0.54/小时起
参数量
31B
所需显存
≈ 39 GB
许可证
gemma
下载量
33,770
更新于 2026年11月13日
今天可运行的 GPU
我们估计使用 U8 权重推理约需 39 GB(含工作内存)。实际用量取决于分辨率、批大小和上下文长度。 使用 4-bit 量化约需 24 GB。
| GPU | 显存 | 每小时 | 10 小时 | |
|---|---|---|---|---|
| Q RTX 8000 | 45 GB | $0.54 | $5.40 | 租用 |
| A100 PCIE | 40 GB | $0.83 | $8.30 | 租用 |
| CMP 170HX | 64 GB | $0.85 | $8.50 | 租用 |
| RTX A6000 | 48 GB | $0.94 | $9.40 | 租用 |
| A100 SXM4 | 80 GB | $1.02 | $10.20 | 租用 |
价格为目录中的实时起价。机器运行期间按秒付费。
如何运行 Gemma-4-31B-it-DECKARD-HERETIC-Uncensored-NVFP4
- 01
租用 GPU
从上面选择一款 GPU。按秒计费;停止机器即停止计费。
- 02
打开终端或 Jupyter
通过 SSH 连接,或在浏览器中打开 Jupyter。PyTorch 和 CUDA 已就绪。
- 03
下载并运行模型
运行下面的命令。权重会直接从 Hugging Face 下载到您的机器。
pip install -U vllm
vllm serve AEON-7/Gemma-4-31B-it-DECKARD-HERETIC-Uncensored-NVFP4 --host 0.0.0.0 --port 8000为什么要自己运行?
自建 LLM 服务器没有按 token 计费,也没有速率限制,数据保持私密。按显存选择 GPU,用 vLLM 部署模型。
常见问题
- Gemma-4-31B-it-DECKARD-HERETIC-Uncensored-NVFP4 需要多少显存?
- 按我们的估算,推理约需 39 GB(31B 参数)。更高分辨率、更长上下文或更大批次需要更多显存。
- 运行 Gemma-4-31B-it-DECKARD-HERETIC-Uncensored-NVFP4 要花多少钱?
- 在 Q RTX 8000 上 $0.54/小时起,按秒计费。十小时约 $5.40。
- 需要订阅吗?
- 不需要。您只需用 USD 余额支付机器实际运行的时间。用完即可停止。
几分钟内在您自己的 GPU 上试用
选择一款 GPU,打开 Jupyter 或 SSH,运行任意开源模型。按秒付费,随时可以停止;无需订阅,没有开通费。
- 以 USD 按秒计费
- PyTorch 和 CUDA 几分钟即可就绪
- 也可以通过 ChatGPT 或 Claude 租用