ОТКРЫТЫЕ МОДЕЛИ / Языковые модели (LLM)
Запустите vllm-mlx на облачном GPU
vllm-mlx — модель от waybarrios для задачи «Языковые модели (LLM)». Узнайте, сколько видеопамяти ей нужно, на какие GPU она помещается сегодня и сколько стоит запустить её самому, с посекундной оплатой.
Из описания проекта: High-performance OpenAI and Anthropic compatible LLM inference server for Apple Silicon. Native MLX, continuous batching, multimodal models, MCP tool calling, and Claude Code support.
GPU, на которые она помещается сегодня
Типичный объём видеопамяти для такого приложения: около 16 ГБ. Более крупные модели и высокое разрешение потребуют больше.
| GPU | Память | В час | 10 часов | |
|---|---|---|---|---|
| RTX A4000 | 16 GB | $0.19 | $1.90 | Арендовать |
| RTX 2080 Ti | 22 GB | $0.20 | $2.00 | Арендовать |
| RTX 5060 Ti | 16 GB | $0.20 | $2.00 | Арендовать |
| Tesla V100 | 16 GB | $0.22 | $2.20 | Арендовать |
| Q RTX 5000 | 16 GB | $0.24 | $2.40 | Арендовать |
Актуальные начальные цены из нашего каталога. Вы платите посекундно, пока машина работает.
Как запустить vllm-mlx
- 01
Арендуйте GPU
Выберите один из GPU выше. Оплата посекундная: остановили машину — оплата прекратилась.
- 02
Откройте терминал или Jupyter
Подключитесь по SSH или откройте Jupyter в браузере. PyTorch и CUDA уже готовы.
- 03
Клонируйте приложение и следуйте README
Выполните команды ниже, затем следуйте README проекта. Большинство приложений запускают веб-интерфейс, который можно открыть через порты машины.
git clone https://github.com/waybarrios/vllm-mlx.git
cd vllm-mlxЗачем запускать самому?
У собственного LLM-сервера нет оплаты за токены и лимитов запросов, а данные остаются приватными. Выберите GPU по памяти и разверните модель через vLLM.
Вопросы
- Сколько видеопамяти нужно vllm-mlx?
- По нашей оценке, около 16 ГБ для инференса (? параметров). Более высокое разрешение, длинный контекст или большие батчи потребуют больше.
- Сколько стоит запуск vllm-mlx?
- От $0.19 в час на RTX A4000, с посекундной оплатой. Десять часов обойдутся примерно в $1.90.
- Нужна ли подписка?
- Нет. Вы платите только за время работы машины из своего баланса в USD. Остановите её, когда закончите.
Попробуйте на своём GPU за несколько минут
Выберите GPU, откройте Jupyter или SSH и запустите любую открытую модель. Вы платите посекундно и можете остановить машину в любой момент; без подписки и платы за подключение.
- Посекундная оплата в USD
- PyTorch и CUDA готовы за минуты
- Арендуйте и через ChatGPT или Claude