2016.3.30 为什么神经网络训练很难？

为什么神经网络训练很难？

深度神经网络本身不太稳定，这是因为在反向传播的过程当中，每一步都要经过一个sigmoid’，还有一个w的乘法。容易导致梯度扩散或者是梯度爆炸的问题。而这都是由于这两个参数导致的。对于sigmoid’来说，最大的也不过是1/4所以在这一部分的时候梯度会逐渐减小，而且是逐层指数的减小。如果w也不大的话，那么在训练的过程中，前面几层的训练量明显不够。对于w来说，如果w太大，那么就使得训练的误差在逐层反向传播的时候逐渐增大，也就会导致最后的梯度爆炸。所以这个网络是在是太不稳定了。很容易就出现训练上的问题。

还有就是在训练过程中，开始的训练可能就会导致后面几层的z非常大，sigmoid’(z)就非常小了。为了解决这个问题，我们要采用一些机智的激活函数。