Algoritmo Backpropagation
O que são mínimos locais?
- São pequenos “buracos” na superfície de erro, mas não são na realidade a “soluçao” (fundo do poço) do problema.
Como escapar de mínimos locais?
- Podemos escapar de mínimos locais usando na atualização dos pesos um termo proporcional a última direção de alteração do peso. (Alteração do Peso no passo anterior do algoritmo Backpropagation) - idéia de inércia ou um “empurrão” para sair de buracos.
-
-
- onde ? é o parâmetro conhecido como “momento”.