MODELOS ABIERTOS / Modelos de visión y lenguaje
Ejecuta gemma-3-27b-it-FP8-dynamic en una GPU en la nube
gemma-3-27b-it-FP8-dynamic es un modelo de Modelos de visión y lenguaje de RedHatAI. Mira cuánta memoria de GPU necesita, en qué GPU cabe hoy y cuánto cuesta ejecutarlo tú mismo, con facturación por segundo.
GPU en las que cabe hoy
Nuestra estimación es de unos 34 GB para inferencia con pesos F8_E4M3, memoria de trabajo incluida. El uso real depende de la resolución, el tamaño de lote y la longitud de contexto. Con cuantización de 4 bits necesita unos 21 GB.
| GPU | Memoria | Por hora | 10 horas | |
|---|---|---|---|---|
| Q RTX 8000 | 45 GB | $0.54 | $5.40 | Alquilar |
| A100 SXM4 | 80 GB | $0.81 | $8.10 | Alquilar |
| A100 PCIE | 40 GB | $0.83 | $8.30 | Alquilar |
| CMP 170HX | 64 GB | $0.90 | $9.00 | Alquilar |
| RTX A6000 | 48 GB | $0.94 | $9.40 | Alquilar |
Precios iniciales en vivo de nuestro catálogo. Pagas por segundo mientras la máquina funciona.
Cómo ejecutar gemma-3-27b-it-FP8-dynamic
- 01
Alquila una GPU
Elige una de las GPU de arriba. La facturación es por segundo; detén la máquina y dejas de pagar.
- 02
Abre una terminal o Jupyter
Conéctate por SSH o abre Jupyter en tu navegador. PyTorch y CUDA están listos.
- 03
Descarga y ejecuta el modelo
Ejecuta los comandos de abajo. Los pesos se descargan directamente de Hugging Face a tu máquina.
pip install -U vllm
vllm serve RedHatAI/gemma-3-27b-it-FP8-dynamic --host 0.0.0.0 --port 8000¿Por qué ejecutarlo tú mismo?
Ejecuta la comprensión de documentos e imágenes en tu propia GPU: sin cuota por imagen y tus archivos se quedan en tu máquina.
Preguntas
- ¿Cuánta memoria de GPU necesita gemma-3-27b-it-FP8-dynamic?
- Según nuestra estimación, unos 34 GB para inferencia (27B parámetros). Más resolución, contexto más largo o lotes mayores necesitan más.
- ¿Cuánto cuesta ejecutar gemma-3-27b-it-FP8-dynamic?
- Desde $0.54 por hora en Q RTX 8000, con facturación por segundo. Diez horas cuestan unos $5.40.
- ¿Necesito una suscripción?
- No. Solo pagas el tiempo que funciona tu máquina, desde tu saldo en USD. Detenla cuando termines.
Pruébalo en tu propia GPU en minutos
Elige una GPU, abre Jupyter o SSH y ejecuta cualquier modelo abierto. Pagas por segundo y puedes detenerla cuando quieras; sin suscripción ni cuota de alta.
- Facturación por segundo en USD
- PyTorch y CUDA listos en minutos
- Alquila también desde ChatGPT o Claude