Precios de GPU interrumpibles: cálculo de riesgo y ganancia

El precio interrumpible es el alquiler de la capacidad de GPU ociosa de la plataforma muy por debajo del precio por horas estándar. A cambio, la plataforma se reserva el derecho de detenerte con una notificación breve cuando necesite la capacidad para inquilinos estándar.

El modelo es la réplica del enfoque de "instancias spot/interrumpibles" del cloud computing: el precio bajo es flexibilidad comprada con riesgo de interrupción.

Una GPU ociosa no genera ningún ingreso para la plataforma; la electricidad y la amortización siguen corriendo. Llenar esa capacidad a un precio bajo es ganancia pura por cada hora que supera el coste marginal.

El propio precio fluctúa según la oferta y la demanda: en épocas de alta demanda el precio interrumpible sube; en épocas de valle puede caer a la mitad del precio estándar o menos.

La interrupción se desencadena típicamente cuando sube la demanda: cuando un cliente que quiere alquilar al precio estándar empieza a llenar la capacidad, los inquilinos interrumpibles son expulsados empezando por el orden de prioridad más alto. La ventana de notificación es corta y la GPU se recupera al instante; los datos del disco persistente suelen conservarse y puedes continuar donde lo dejaste.

Por eso, para el inquilino interrumpible la pregunta clave no es "¿me interrumpirán?" sino "¿qué pierdo si me interrumpen?".

Un ejemplo sencillo: si el precio estándar es $1.20/h y el interrumpible es $0.45/h, el ahorro por hora es del %60. Pero cada interrupción añade el coste de reinicio y calentamiento: si tu carga de trabajo pierde una media de 20 minutos en cada interrupción, en una carga interrumpida cada 4 horas la diferencia de coste efectiva se reduce notablemente.

El cálculo correcto es: coste esperado = precio por hora × (horas usadas + horas gastadas en reinicios). No te comprometas con un proyecto de largo plazo sin medir la frecuencia de interrupción en una prueba de varios días.

• Guarda puntos de control (checkpoint) de forma regular; si el disco es persistente, la interrupción solo es una pérdida de tiempo.
• Prefiere trabajos sin estado y deterministas: render, simulación, búsqueda de hiperparámetros, preprocesamiento de datos.
• Divide el trabajo en piezas pequeñas y ejecútalo con estructura de cola; si un equipo se interrumpe, la cola migra a otra capacidad.
• Una arquitectura que puede trabajar en paralelo en varias regiones/tarjetas distribuye también la probabilidad de interrupción.

Los trabajos de entrenamiento que avanzan de forma secuencial sobre una sola GPU, con coste de punto de control alto y fecha de entrega crítica, no son adecuados para el modelo interrumpible; esos trabajos deben ejecutarse con alquiler estándar. La regla es simple: ¿la interrupción significa un retraso o una pérdida de datos? Si es un retraso, el interrumpible es una opción; si es una pérdida, jamás.