corehu
租用 GPU

使用场景

在云 GPU 上运行 Llama 等开源 LLM

与 Llama、Qwen 或 Mistral 对话，或通过 Ollama 以 API 形式提供服务。Ollama 模板会自动为您启动服务器。

查看 RTX 4090 机器 正在查询实时价格…

从您的 USD 余额中按秒计费。用完后请停止或终止机器。

推荐 GPU

RTX 4090 · RTX 5090 · A100 SXM4

8B–14B 模型可在 24 GB 的 RTX 4090 上运行。32B–70B 模型请选择 RTX 5090 或 A100 80 GB。

选用模板

Ollama

一条命令运行 LLM；内置兼容 OpenAI 的 API。

四步即可上手

  1. 1

    租用机器

    打开已预选 Ollama 模板的目录，选择 GPU 后点击“租用”。

    查看 RTX 4090 机器
  2. 2

    通过 SSH 连接

    从机器页面复制 SSH 命令。如需从您的电脑调用 API，请添加端口转发。

    ssh -p <PORT> root@<HOST> -L 11434:localhost:11434

    SSH 命令位于您机器的页面上。-L 部分用于转发端口，让应用在您自己的浏览器中打开。

  3. 3

    下载模型并开始对话

    Ollama 已在运行。拉取一个模型即可开始对话。

    ollama run llama3.1:8b
  4. 4

    使用 API

    Ollama 在 11434 端口提供兼容 OpenAI 的 API。

    curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

常见问题

我的数据会被用于训练吗？

不会。模型在您租用的机器上运行，提示词和输出都只保留在该机器上。

可以在我的应用中使用吗？

可以。通过 SSH 隧道，将兼容 OpenAI 的客户端指向 http://localhost:11434/v1。