MODELOS ABIERTOS / Modelos de lenguaje (LLM)
Ejecuta gpt4all en una GPU en la nube
gpt4all es un modelo de Modelos de lenguaje (LLM) de nomic-ai. Mira cuánta memoria de GPU necesita, en qué GPU cabe hoy y cuánto cuesta ejecutarlo tú mismo, con facturación por segundo.
Del proyecto: GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use.
GPU en las que cabe hoy
Memoria de GPU típica para este tipo de app: unos 16 GB. Los modelos más grandes y las resoluciones más altas necesitan más.
| GPU | Memoria | Por hora | 10 horas | |
|---|---|---|---|---|
| RTX A4000 | 16 GB | $0.19 | $1.90 | Alquilar |
| RTX 2080 Ti | 22 GB | $0.20 | $2.00 | Alquilar |
| RTX 5060 Ti | 16 GB | $0.20 | $2.00 | Alquilar |
| Tesla V100 | 16 GB | $0.22 | $2.20 | Alquilar |
| Q RTX 5000 | 16 GB | $0.24 | $2.40 | Alquilar |
Precios iniciales en vivo de nuestro catálogo. Pagas por segundo mientras la máquina funciona.
Cómo ejecutar gpt4all
- 01
Alquila una GPU
Elige una de las GPU de arriba. La facturación es por segundo; detén la máquina y dejas de pagar.
- 02
Abre una terminal o Jupyter
Conéctate por SSH o abre Jupyter en tu navegador. PyTorch y CUDA están listos.
- 03
Clona la app y sigue su README
Ejecuta los comandos de abajo y luego sigue el README del proyecto. La mayoría de las apps inician una interfaz web que puedes abrir por los puertos de la máquina.
git clone https://github.com/nomic-ai/gpt4all.git
cd gpt4all¿Por qué ejecutarlo tú mismo?
Tu propio servidor de LLM no tiene factura por token ni límite de peticiones, y tus datos siguen siendo privados. Elige la GPU por memoria y sirve el modelo con vLLM.
Preguntas
- ¿Cuánta memoria de GPU necesita gpt4all?
- Según nuestra estimación, unos 16 GB para inferencia (? parámetros). Más resolución, contexto más largo o lotes mayores necesitan más.
- ¿Cuánto cuesta ejecutar gpt4all?
- Desde $0.19 por hora en RTX A4000, con facturación por segundo. Diez horas cuestan unos $1.90.
- ¿Necesito una suscripción?
- No. Solo pagas el tiempo que funciona tu máquina, desde tu saldo en USD. Detenla cuando termines.
Pruébalo en tu propia GPU en minutos
Elige una GPU, abre Jupyter o SSH y ejecuta cualquier modelo abierto. Pagas por segundo y puedes detenerla cuando quieras; sin suscripción ni cuota de alta.
- Facturación por segundo en USD
- PyTorch y CUDA listos en minutos
- Alquila también desde ChatGPT o Claude