teto da derivada: 0,25
1ª camada ÷ última: 3,1·10⁻⁶
À esquerda, arraste z: o ponto azul percorre a função, a reta cinza é a tangente e o ponto âmbar marca a inclinação dela, que é a derivada. À direita, cada barra é o tamanho médio do gradiente dos pesos de uma camada, da entrada (âmbar) à saída, numa rede de 12 neurônios por camada com a inicialização usual de cada ativação. A escala é logarítmica: cada linha é um fator de mil. Na volta, cada camada multiplica o gradiente pela derivada da sua ativação; com a sigmoide, que não passa de 0,25, a primeira camada de uma rede de 10 recebe cerca de um milionésimo do que recebe a última.