olmo2:7b をクラウド GPU で動かす
olmo2:7b は Ollama による言語モデル（LLM）モデルです。必要な GPU メモリ、今日動かせる GPU、自分で動かした場合の費用（秒単位課金）を確認できます。
プロジェクトの説明： OLMo 2 is a new family of 7B and 13B models trained on up to 5T tokens. These models are on par with or better than equivalently sized fully open models, and competitive with open-weight models such as Llama 3.1 on English academic benchmarks.
今日動かせる GPU
約 7 GB の GPU メモリ：モデルのダウンロード（既定で 4 ビット）と作業用メモリです。
| GPU | メモリ | 1 時間あたり | 10 時間 | |
|---|---|---|---|---|
| GTX 1070 | 8 GB | $0.14 | $1.40 | レンタル |
| GTX 1070 Ti | 8 GB | $0.16 | $1.60 | レンタル |
| GTX 1080 | 8 GB | $0.16 | $1.60 | レンタル |
| Q RTX 4000 | 8 GB | $0.16 | $1.60 | レンタル |
| RTX 3060 | 12 GB | $0.16 | $1.60 | レンタル |
カタログのリアルタイム開始価格です。マシンが動いている間だけ秒単位で支払います。
olmo2:7b の動かし方
- 01
GPU をレンタル
上の GPU から 1 つ選びます。課金は秒単位で、マシンを停止すれば課金も止まります。
- 02
ターミナルか Jupyter を開く
SSH で接続するか、ブラウザで Jupyter を開きます。PyTorch と CUDA は準備済みです。
- 03
Ollama をインストールしてモデルを実行
下のコマンドを実行します。Ollama がモデルをダウンロードし、ポート 11434 で OpenAI 互換 API を提供します。
curl -fsSL https://ollama.com/install.sh | sh
ollama run olmo2:7bなぜ自分で動かすのか
自前の LLM サーバーならトークン課金もレート制限もなく、データも非公開のままです。メモリで GPU を選び、vLLM でモデルを提供しましょう。
よくある質問
- olmo2:7b にはどれくらいの GPU メモリが必要ですか？
- 推定では推論に約 7 GB（7B パラメータ）です。高解像度、長いコンテキスト、大きなバッチではさらに必要です。
- olmo2:7b を動かす費用は？
- GTX 1070 で 1 時間 $0.14 から、秒単位の課金です。10 時間で約 $1.40 です。
- サブスクリプションは必要ですか？
- いいえ。マシンが動いた時間分だけを USD 残高から支払います。終わったら停止してください。
自分の GPU で数分で試せます
GPU を選び、Jupyter か SSH を開いて、好きなオープンモデルを動かしましょう。秒単位の支払いで、いつでも停止できます。サブスクリプションも初期費用もありません。
- USD で秒単位の課金
- PyTorch と CUDA が数分で準備完了
- ChatGPT や Claude からもレンタル可能