corehu
Арендовать GPU

СЦЕНАРИЙ

Llama и другие открытые LLM на облачном GPU

Общайтесь с Llama, Qwen или Mistral или раздавайте их по API через Ollama. Шаблон Ollama сам запускает сервер.

Смотреть машины RTX 4090 Проверяем актуальные цены…

Посекундная оплата с вашего баланса в USD. Когда закончите, остановите или завершите машину.

Рекомендуемый GPU

RTX 4090 · RTX 5090 · A100 SXM4

Модели 8B–14B помещаются на RTX 4090 с 24 ГБ. Для моделей 32B–70B выберите RTX 5090 или A100 80 ГБ.

Какой шаблон выбрать

Ollama

Запуск LLM одной командой; API, совместимый с OpenAI, в комплекте.

Запуск за четыре шага

  1. 1

    Арендуйте машину

    Откройте каталог с уже выбранным шаблоном Ollama, выберите GPU и нажмите «Арендовать».

    Смотреть машины RTX 4090
  2. 2

    Подключитесь по SSH

    Скопируйте команду SSH со страницы вашей машины. Добавьте проброс порта, если хотите обращаться к API со своего компьютера.

    ssh -p <PORT> root@<HOST> -L 11434:localhost:11434

    Команда SSH указана на странице вашей машины. Часть -L пробрасывает порт, чтобы приложение открылось в вашем браузере.

  3. 3

    Скачайте модель и начните чат

    Ollama уже запущен. Скачайте модель и начинайте общение.

    ollama run llama3.1:8b
  4. 4

    Используйте API

    Ollama предоставляет OpenAI-совместимый API на порту 11434.

    curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

Вопросы

Используются ли мои данные для обучения?

Нет. Модель работает на вашей арендованной машине; запросы и ответы остаются на ней.

Можно ли использовать это из моего приложения?

Да. Направьте OpenAI-совместимый клиент на http://localhost:11434/v1 через SSH-туннель.