MODELOS ABIERTOS / Modelos de lenguaje (LLM)
Ejecuta HuatuoGPT-o1-7B-GGUF en una GPU en la nube
HuatuoGPT-o1-7B-GGUF es un modelo de Modelos de lenguaje (LLM) de bartowski. Mira cuánta memoria de GPU necesita, en qué GPU cabe hoy y cuánto cuesta ejecutarlo tú mismo, con facturación por segundo.
GPU en las que cabe hoy
Nuestra estimación es de unos 7 GB para inferencia con pesos GGUF, memoria de trabajo incluida. El uso real depende de la resolución, el tamaño de lote y la longitud de contexto.
| GPU | Memoria | Por hora | 10 horas | |
|---|---|---|---|---|
| GTX 1070 | 8 GB | $0.16 | $1.60 | Alquilar |
| GTX 1070 Ti | 8 GB | $0.18 | $1.80 | Alquilar |
| GTX 1080 | 8 GB | $0.18 | $1.80 | Alquilar |
| Q RTX 4000 | 8 GB | $0.18 | $1.80 | Alquilar |
| RTX 3060 | 12 GB | $0.18 | $1.80 | Alquilar |
Precios iniciales en vivo de nuestro catálogo. Pagas por segundo mientras la máquina funciona.
Cómo ejecutar HuatuoGPT-o1-7B-GGUF
- 01
Alquila una GPU
Elige una de las GPU de arriba. La facturación es por segundo; detén la máquina y dejas de pagar.
- 02
Abre una terminal o Jupyter
Conéctate por SSH o abre Jupyter en tu navegador. PyTorch y CUDA están listos.
- 03
Descarga y ejecuta el modelo
Ejecuta los comandos de abajo. Los pesos se descargan directamente de Hugging Face a tu máquina.
pip install -U "huggingface_hub[cli]"
huggingface-cli download bartowski/HuatuoGPT-o1-7B-GGUF --local-dir ./model --include "*Q4_K_M*"
# llama.cpp: ./llama-server -m ./model/*.gguf --host 0.0.0.0 --port 8000¿Por qué ejecutarlo tú mismo?
Tu propio servidor de LLM no tiene factura por token ni límite de peticiones, y tus datos siguen siendo privados. Elige la GPU por memoria y sirve el modelo con vLLM.
Preguntas
- ¿Cuánta memoria de GPU necesita HuatuoGPT-o1-7B-GGUF?
- Según nuestra estimación, unos 7 GB para inferencia (7.6B parámetros). Más resolución, contexto más largo o lotes mayores necesitan más.
- ¿Cuánto cuesta ejecutar HuatuoGPT-o1-7B-GGUF?
- Desde $0.16 por hora en GTX 1070, con facturación por segundo. Diez horas cuestan unos $1.60.
- ¿Necesito una suscripción?
- No. Solo pagas el tiempo que funciona tu máquina, desde tu saldo en USD. Detenla cuando termines.
Pruébalo en tu propia GPU en minutos
Elige una GPU, abre Jupyter o SSH y ejecuta cualquier modelo abierto. Pagas por segundo y puedes detenerla cuando quieras; sin suscripción ni cuota de alta.
- Facturación por segundo en USD
- PyTorch y CUDA listos en minutos
- Alquila también desde ChatGPT o Claude