PowerInfer にはどれくらいの GPU メモリが必要ですか？

推定では推論に約 16 GB（? パラメータ）です。高解像度、長いコンテキスト、大きなバッチではさらに必要です。

PowerInfer を動かす費用は？

RTX A4000 で 1 時間 $0.19 から、秒単位の課金です。10 時間で約 $1.90 です。

いいえ。マシンが動いた時間分だけを USD 残高から支払います。終わったら停止してください。

Name: PowerInfer
Price: 0.19 USD
Author: Tiiny-AI

PowerInfer は Tiiny-AI による言語モデル（LLM）モデルです。必要な GPU メモリ、今日動かせる GPU、自分で動かした場合の費用（秒単位課金）を確認できます。

プロジェクトの説明： High-speed Large Language Model Serving for Local Deployment

パラメータ数

—

必要な GPU メモリ

≈ 16 GB

ライセンス

MIT

GitHub スター

9,887

更新日 2026/05/11

この種のアプリの一般的な GPU メモリ：約 16 GB。大きなモデルや高解像度ではさらに必要です。

GPU	メモリ	1 時間あたり	10 時間
RTX A4000	16 GB	$0.19	$1.90	レンタル
RTX 2080 Ti	22 GB	$0.20	$2.00	レンタル
RTX 5060 Ti	16 GB	$0.20	$2.00	レンタル
Tesla V100	16 GB	$0.22	$2.20	レンタル
Q RTX 5000	16 GB	$0.24	$2.40	レンタル

カタログのリアルタイム開始価格です。マシンが動いている間だけ秒単位で支払います。

01
GPU をレンタル
上の GPU から 1 つ選びます。課金は秒単位で、マシンを停止すれば課金も止まります。
02
ターミナルか Jupyter を開く
SSH で接続するか、ブラウザで Jupyter を開きます。PyTorch と CUDA は準備済みです。
03
アプリをクローンして README に従う
下のコマンドを実行し、プロジェクトの README に従ってください。多くのアプリはマシンのポートから開ける Web 画面を起動します。

$ git clone https://github.com/Tiiny-AI/PowerInfer.git
cd PowerInfer

自前の LLM サーバーならトークン課金もレート制限もなく、データも非公開のままです。メモリで GPU を選び、vLLM でモデルを提供しましょう。

PowerInfer にはどれくらいの GPU メモリが必要ですか？: 推定では推論に約 16 GB（? パラメータ）です。高解像度、長いコンテキスト、大きなバッチではさらに必要です。
PowerInfer を動かす費用は？: RTX A4000 で 1 時間 $0.19 から、秒単位の課金です。10 時間で約 $1.90 です。
サブスクリプションは必要ですか？: いいえ。マシンが動いた時間分だけを USD 残高から支払います。終わったら停止してください。

GPU を選び、Jupyter か SSH を開いて、好きなオープンモデルを動かしましょう。秒単位の支払いで、いつでも停止できます。サブスクリプションも初期費用もありません。