Preços de GPU interrompíveis: cálculo de risco e ganho

O preço interrompível é o aluguer da capacidade de GPU ociosa da plataforma muito abaixo do preço horário padrão. Em troca, a plataforma reserva-se o direito de te parar com uma notificação breve quando precisar da capacidade para inquilinos padrão.

O modelo é a réplica da abordagem de "instâncias spot/interrompíveis" do cloud computing: o preço baixo é flexibilidade comprada com risco de interrupção.

Uma GPU ociosa não gera qualquer receita para a plataforma; a eletricidade e a amortização continuam a correr. Preencher essa capacidade a um preço baixo é ganho puro por cada hora que excede o custo marginal.

O próprio preço flutua consoante a oferta e a procura: em períodos de alta procura o preço interrompível sobe; em períodos de vale pode cair para metade do preço padrão ou menos.

A interrupção desencadeia-se tipicamente quando sobe a procura: quando um cliente que quer alugar ao preço padrão começa a encher a capacidade, os inquilinos interrompíveis são expulsos começando pela ordem de prioridade mais alta. A janela de notificação é curta e a GPU é recuperada instantaneamente; os dados do disco persistente são geralmente preservados e podes continuar onde ficaste.

Por isso, para o inquilino interrompível, a pergunta-chave não é "ser-me-á interrompido?" mas "o que perco se for interrompido?".

Um exemplo simples: se o preço padrão é $1.20/h e o interrompível é $0.45/h, a poupança horária é de %60. Mas cada interrupção acrescenta o custo de reinício e aquecimento: se a tua carga de trabalho perder uma média de 20 minutos em cada interrupção, numa carga interrompida a cada 4 horas a diferença de custo efetivo reduz-se de forma notória.

O cálculo correto é: custo esperado = preço por hora × (horas utilizadas + horas gastas em reinícios). Não te comprometas com um projeto de longo prazo sem medir a frequência de interrupção numa experiência de alguns dias.

• Guarda pontos de controlo (checkpoint) regularmente; se o disco for persistente, a interrupção é apenas uma perda de tempo.
• Prefere trabalhos sem estado e deterministas: render, simulação, pesquisa de hiperparâmetros, pré-processamento de dados.
• Divide o trabalho em pequenas partes e executa com estrutura de fila; se um equipamento for interrompido, a fila migra para outra capacidade.
• Uma arquitetura que pode trabalhar em paralelo em várias regiões/placas distribui também a probabilidade de interrupção.

Os trabalhos de treino que avançam de forma sequencial numa única GPU, com custo de ponto de controlo elevado e data de entrega crítica, não são adequados para o modelo interrompível; esses trabalhos devem executar-se com aluguer padrão. A regra é simples: a interrupção significa um atraso ou uma perda de dados? Se é um atraso, o interrompível é uma opção; se é uma perda, nunca.