クラウドGPUでLlamaなどのオープンLLMを動かす

4ステップで使い始める

1. 1

   マシンをレンタル

   Ollamaテンプレートが選択済みのカタログを開き、GPUを選んで「レンタル」を押します。

   RTX 4090 のマシンを見る →
2. 2

   SSHで接続

   マシンのページからSSHコマンドをコピーします。手元のコンピューターからAPIを呼び出す場合は、ポート転送を追加してください。

   $ ssh -p <PORT> root@<HOST> -L 11434:localhost:11434

   コピー

   SSHコマンドはマシンのページに表示されています。-L の部分がポートを転送し、アプリをお使いのブラウザで開けるようにします。

3. 3

   モデルをダウンロードしてチャット

   Ollamaはすでに起動しています。モデルをpullしてチャットを始めましょう。

   $ ollama run llama3.1:8b

   コピー
4. 4

   APIを使う

   Ollamaはポート11434でOpenAI互換のAPIを提供します。

   $ curl http://localhost:11434/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{"model":"llama3.1:8b","messages":[{"role":"user","content":"Hello"}]}'

   コピー