ОТКРЫТЫЕ МОДЕЛИ / Языковые модели (LLM)
Запустите olmo2:7b на облачном GPU
olmo2:7b — модель от Ollama для задачи «Языковые модели (LLM)». Узнайте, сколько видеопамяти ей нужно, на какие GPU она помещается сегодня и сколько стоит запустить её самому, с посекундной оплатой.
Из описания проекта: OLMo 2 is a new family of 7B and 13B models trained on up to 5T tokens. These models are on par with or better than equivalently sized fully open models, and competitive with open-weight models such as Llama 3.1 on English academic benchmarks.
GPU, на которые она помещается сегодня
Около 7 ГБ видеопамяти: файл модели (по умолчанию 4 бита) плюс рабочая память.
| GPU | Память | В час | 10 часов | |
|---|---|---|---|---|
| GTX 1070 | 8 GB | $0.14 | $1.40 | Арендовать |
| GTX 1070 Ti | 8 GB | $0.16 | $1.60 | Арендовать |
| GTX 1080 | 8 GB | $0.16 | $1.60 | Арендовать |
| Q RTX 4000 | 8 GB | $0.16 | $1.60 | Арендовать |
| RTX 3060 | 12 GB | $0.16 | $1.60 | Арендовать |
Актуальные начальные цены из нашего каталога. Вы платите посекундно, пока машина работает.
Как запустить olmo2:7b
- 01
Арендуйте GPU
Выберите один из GPU выше. Оплата посекундная: остановили машину — оплата прекратилась.
- 02
Откройте терминал или Jupyter
Подключитесь по SSH или откройте Jupyter в браузере. PyTorch и CUDA уже готовы.
- 03
Установите Ollama и запустите модель
Выполните команды ниже. Ollama скачает модель и поднимет OpenAI-совместимый API на порту 11434.
curl -fsSL https://ollama.com/install.sh | sh
ollama run olmo2:7bЗачем запускать самому?
У собственного LLM-сервера нет оплаты за токены и лимитов запросов, а данные остаются приватными. Выберите GPU по памяти и разверните модель через vLLM.
Вопросы
- Сколько видеопамяти нужно olmo2:7b?
- По нашей оценке, около 7 ГБ для инференса (7B параметров). Более высокое разрешение, длинный контекст или большие батчи потребуют больше.
- Сколько стоит запуск olmo2:7b?
- От $0.14 в час на GTX 1070, с посекундной оплатой. Десять часов обойдутся примерно в $1.40.
- Нужна ли подписка?
- Нет. Вы платите только за время работы машины из своего баланса в USD. Остановите её, когда закончите.
Попробуйте на своём GPU за несколько минут
Выберите GPU, откройте Jupyter или SSH и запустите любую открытую модель. Вы платите посекундно и можете остановить машину в любой момент; без подписки и платы за подключение.
- Посекундная оплата в USD
- PyTorch и CUDA готовы за минуты
- Арендуйте и через ChatGPT или Claude