Voltar

Explorador da Família ReLU

Compare ReLU, Leaky ReLU, PReLU (com a ajustável), Softplus, ELU e GELU: arraste x e veja f(x), a tangente e a derivada que volta no treino, inclusive o gradiente zero da ReLU morta.

Explorador da Família ReLU

Compare ReLU, Leaky ReLU, PReLU (com a ajustável), Softplus, ELU e GELU: arraste x e veja f(x), a tangente e a derivada que volta no treino, inclusive o gradiente zero da ReLU morta.

Explorador da família ReLU

-4-3-2-11234-1123f(x)10f′(x)
ReLU(x) = max(0, x)
f(x)
—
f′(x), o gradiente
—
Gradiente zero: se a soma do neurônio cair sempre aqui, o peso deixa de ser corrigido. É a ReLU morta.
Arraste no gráfico para mover x. A linha tracejada é a ReLU, para comparar.
O painel de baixo mostra a derivada, que é o quanto de sinal de erro volta para o neurônio no treino. Na ReLU ela é 0 em todo o lado negativo e 1 no positivo. Leaky ReLU e PReLU trocam o 0 por a, Softplus, ELU e GELU arredondam a quina e deixam a derivada contínua.