Composição de ReLUs

Cada neurônio oculto calcula w₂·ReLU(w₁x + b₁): uma reta que fica dobrada em x = −b₁/w₁. Somar cotovelos dá uma linha quebrada, e com dois ou três deles ela já acompanha o U. Se a soma de um neurônio ficar negativa em todos os dados, a ReLU o zera e o gradiente também, então nem o treino o recupera: é o neurônio morto. Na Leaky ReLU e na PReLU o lado negativo ainda passa sinal, e ele volta a aprender.