Voltar

XOR com uma Camada Oculta

Uma rede 2-2-1 com sigmoide treina por backpropagation nos quatro pontos do XOR: a região de decisão se dobra a cada época até isolar os pontos certos, com os pesos desenhados na rede, a curva da perda e sorteios de pesos iniciais que às vezes caem num mínimo local.

XOR com uma Camada Oculta

Uma rede 2-2-1 com sigmoide treina por backpropagation nos quatro pontos do XOR: a região de decisão se dobra a cada época até isolar os pontos certos, com os pesos desenhados na rede, a curva da perda e sorteios de pesos iniciais que às vezes caem num mínimo local.

XOR com uma camada oculta

rede 2-2-1 · época 0 · semente 3
0110x₁ = 011
x₁x₂σσσŷ
η
Acertos
2/4
Entropia cruzada
—

Aperte play e acompanhe a região azul (onde a rede diz 1) se dobrar.

Um perceptron sozinho traça uma reta e acerta no máximo 3 dos 4 pontos do XOR. Aqui cada neurônio oculto traça a sua reta, e a saída combina as duas: a região azul vira uma faixa diagonal que isola (0, 1) e (1, 0). O treino é gradiente descendente sobre a entropia cruzada, com a volta calculada por backpropagation. No desenho da rede, a espessura é o tamanho do peso e a cor o sinal (azul positivo, rosa negativo). Alguns sorteios de pesos iniciais caem num mínimo local e não resolvem nunca.