ОТКРЫТЫЕ МОДЕЛИ / Языковые модели (LLM)
Запустите wizardlm2:8x22b на облачном GPU
wizardlm2:8x22b — модель от Ollama для задачи «Языковые модели (LLM)». Узнайте, сколько видеопамяти ей нужно, на какие GPU она помещается сегодня и сколько стоит запустить её самому, с посекундной оплатой.
Из описания проекта: State of the art large language model from Microsoft AI with improved performance on complex chat, multilingual, reasoning and agent use cases.
GPU, на которые она помещается сегодня
Около 93 ГБ видеопамяти: файл модели (по умолчанию 4 бита) плюс рабочая память.
| GPU | Память | В час | 10 часов | |
|---|---|---|---|---|
| GB10 | 119 GB | $0.71 | $7.10 | Арендовать |
| RTX PRO 6000 Max-Q | 96 GB | $1.72 | $17.20 | Арендовать |
| RTX PRO 6000 WS | 96 GB | $2.36 | $23.60 | Арендовать |
| RTX PRO 6000 S | 96 GB | $2.43 | $24.30 | Арендовать |
| RTX PRO 6000 | 96 GB | $4.21 | $42.10 | Арендовать |
Актуальные начальные цены из нашего каталога. Вы платите посекундно, пока машина работает.
Как запустить wizardlm2:8x22b
- 01
Арендуйте GPU
Выберите один из GPU выше. Оплата посекундная: остановили машину — оплата прекратилась.
- 02
Откройте терминал или Jupyter
Подключитесь по SSH или откройте Jupyter в браузере. PyTorch и CUDA уже готовы.
- 03
Установите Ollama и запустите модель
Выполните команды ниже. Ollama скачает модель и поднимет OpenAI-совместимый API на порту 11434.
curl -fsSL https://ollama.com/install.sh | sh
ollama run wizardlm2:8x22bЗачем запускать самому?
У собственного LLM-сервера нет оплаты за токены и лимитов запросов, а данные остаются приватными. Выберите GPU по памяти и разверните модель через vLLM.
Вопросы
- Сколько видеопамяти нужно wizardlm2:8x22b?
- По нашей оценке, около 93 ГБ для инференса (? параметров). Более высокое разрешение, длинный контекст или большие батчи потребуют больше.
- Сколько стоит запуск wizardlm2:8x22b?
- От $0.71 в час на GB10, с посекундной оплатой. Десять часов обойдутся примерно в $7.10.
- Нужна ли подписка?
- Нет. Вы платите только за время работы машины из своего баланса в USD. Остановите её, когда закончите.
Попробуйте на своём GPU за несколько минут
Выберите GPU, откройте Jupyter или SSH и запустите любую открытую модель. Вы платите посекундно и можете остановить машину в любой момент; без подписки и платы за подключение.
- Посекундная оплата в USD
- PyTorch и CUDA готовы за минуты
- Арендуйте и через ChatGPT или Claude