ОТКРЫТЫЕ МОДЕЛИ / Языковые модели (LLM)
Запустите mistral-large:123b на облачном GPU
mistral-large:123b — модель от Ollama для задачи «Языковые модели (LLM)». Узнайте, сколько видеопамяти ей нужно, на какие GPU она помещается сегодня и сколько стоит запустить её самому, с посекундной оплатой.
Из описания проекта: Mistral Large 2 is Mistral's new flagship model that is significantly more capable in code generation, mathematics, and reasoning with 128k context window and support for dozens of languages.
GPU, на которые она помещается сегодня
Около 86 ГБ видеопамяти: файл модели (по умолчанию 4 бита) плюс рабочая память.
| GPU | Память | В час | 10 часов | |
|---|---|---|---|---|
| GB10 | 119 GB | $1.19 | $11.90 | Арендовать |
| RTX PRO 6000 Max-Q | 96 GB | $2.28 | $22.80 | Арендовать |
| RTX PRO 6000 WS | 96 GB | $2.57 | $25.70 | Арендовать |
| RTX PRO 6000 S | 96 GB | $2.73 | $27.30 | Арендовать |
| RTX PRO 6000 | 96 GB | $4.73 | $47.30 | Арендовать |
Актуальные начальные цены из нашего каталога. Вы платите посекундно, пока машина работает.
Как запустить mistral-large:123b
- 01
Арендуйте GPU
Выберите один из GPU выше. Оплата посекундная: остановили машину — оплата прекратилась.
- 02
Откройте терминал или Jupyter
Подключитесь по SSH или откройте Jupyter в браузере. PyTorch и CUDA уже готовы.
- 03
Установите Ollama и запустите модель
Выполните команды ниже. Ollama скачает модель и поднимет OpenAI-совместимый API на порту 11434.
curl -fsSL https://ollama.com/install.sh | sh
ollama run mistral-large:123bЗачем запускать самому?
У собственного LLM-сервера нет оплаты за токены и лимитов запросов, а данные остаются приватными. Выберите GPU по памяти и разверните модель через vLLM.
Вопросы
- Сколько видеопамяти нужно mistral-large:123b?
- По нашей оценке, около 86 ГБ для инференса (123B параметров). Более высокое разрешение, длинный контекст или большие батчи потребуют больше.
- Сколько стоит запуск mistral-large:123b?
- От $1.19 в час на GB10, с посекундной оплатой. Десять часов обойдутся примерно в $11.90.
- Нужна ли подписка?
- Нет. Вы платите только за время работы машины из своего баланса в USD. Остановите её, когда закончите.
Попробуйте на своём GPU за несколько минут
Выберите GPU, откройте Jupyter или SSH и запустите любую открытую модель. Вы платите посекундно и можете остановить машину в любой момент; без подписки и платы за подключение.
- Посекундная оплата в USD
- PyTorch и CUDA готовы за минуты
- Арендуйте и через ChatGPT или Claude