MODELOS ABIERTOS / Modelos de lenguaje (LLM)
Ejecuta goliath:120b-q5_1 en una GPU en la nube
goliath:120b-q5_1 es un modelo de Modelos de lenguaje (LLM) de Ollama. Mira cuánta memoria de GPU necesita, en qué GPU cabe hoy y cuánto cuesta ejecutarlo tú mismo, con facturación por segundo.
Del proyecto: A language model created by combining two fine-tuned Llama 2 70B models into one.
GPU en las que cabe hoy
Unos 103 GB de memoria de GPU: la descarga del modelo (4 bits por defecto) más la memoria de trabajo.
| GPU | Memoria | Por hora | 10 horas | |
|---|---|---|---|---|
| GB10 | 119 GB | $1.19 | $11.90 | Alquilar |
| H200 | 140 GB | $6.46 | $64.60 | Alquilar |
| H200 NVL | 141 GB | $6.57 | $65.70 | Alquilar |
| B200 | 179 GB | $14.09 | $140.90 | Alquilar |
| GB200 | 185 GB | $16.04 | $160.40 | Alquilar |
Precios iniciales en vivo de nuestro catálogo. Pagas por segundo mientras la máquina funciona.
Cómo ejecutar goliath:120b-q5_1
- 01
Alquila una GPU
Elige una de las GPU de arriba. La facturación es por segundo; detén la máquina y dejas de pagar.
- 02
Abre una terminal o Jupyter
Conéctate por SSH o abre Jupyter en tu navegador. PyTorch y CUDA están listos.
- 03
Instala Ollama y ejecuta el modelo
Ejecuta los comandos de abajo. Ollama descarga el modelo y sirve una API compatible con OpenAI en el puerto 11434.
curl -fsSL https://ollama.com/install.sh | sh
ollama run goliath:120b-q5_1¿Por qué ejecutarlo tú mismo?
Tu propio servidor de LLM no tiene factura por token ni límite de peticiones, y tus datos siguen siendo privados. Elige la GPU por memoria y sirve el modelo con vLLM.
Preguntas
- ¿Cuánta memoria de GPU necesita goliath:120b-q5_1?
- Según nuestra estimación, unos 103 GB para inferencia (120B parámetros). Más resolución, contexto más largo o lotes mayores necesitan más.
- ¿Cuánto cuesta ejecutar goliath:120b-q5_1?
- Desde $1.19 por hora en GB10, con facturación por segundo. Diez horas cuestan unos $11.90.
- ¿Necesito una suscripción?
- No. Solo pagas el tiempo que funciona tu máquina, desde tu saldo en USD. Detenla cuando termines.
Pruébalo en tu propia GPU en minutos
Elige una GPU, abre Jupyter o SSH y ejecuta cualquier modelo abierto. Pagas por segundo y puedes detenerla cuando quieras; sin suscripción ni cuota de alta.
- Facturación por segundo en USD
- PyTorch y CUDA listos en minutos
- Alquila también desde ChatGPT o Claude