您的位置：首页 > 其它

【286页干货】一天搞懂深度学习

2018-01-30 00:00 267 查看

[b][b][b][b][b][b][b][b][b][b][b][b][b][b][b][b]

[/b][/b][/b][/b][/b][/b][/b][/b][/b][/b][/b][/b][/b][/b][/b][/b]作者：慢慢的燃烧
来源：http://blog.csdn.net/u010164190/article/details/72633245

《1天搞懂深度学习》，快300页的ppt，台湾李宏毅教授写的，非常棒。不夸张地说，是我看过最系统，也最通俗易懂的，关于深度学习的文章。

废话少说，先上干货，整个PPT的思维导图如下：

深度学习概论

介绍深度学习

作者非常浅显的指出机器（深度）学习过程非常简单，分为定义方法、判断方法的优劣、挑选出最佳的方法。

对于深度学习，首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。
神经网络的思想来源于对于人脑的生理上的研究，人脑由数亿个神经元组成，神经元通过轴突互相连接通信。神经网络和人脑类似，存在多个层级（layer），每个层级都有多个节点（神经元），层级和层级之间相互连接（轴突），最终输出结果。
对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳，逐步的将抽象的原始数据变的具体。以图片识别为例，输入是一个个像素点，经过每层神经网络，逐步变化成为线、面、对象的概念，然后机器有能力能够识别出来。

第二步，评估方法的优劣。
Loss function是用于评估方法优劣，通常我们用学习出来的参数对测试数据进行计算，得出对应的预测（y）然后和真实的测试数据的目标值（t）进行比对，y和t之间的差距往往就是Loss。那么评估一个算法的好坏，就是要尽可能的降低Loss。

第三步，如何获得最佳的学习方法
获得最佳的学习是采用梯度下降算法，作者也提到梯度下降算法存在局部最优解的问题。人们往往认为机器无所不能，实际上更像是在一个地图上面拓荒，对周边一无所知。神经网络计算梯度的算法是反向传播算法，简称BP。

Why Deep？

作者首先指出越多的参数往往带来越好的预测能力，所以神经网络往往参数越多越好。那么如果是同样的参数情况下，为什么层级较多的表现会更好呢？

作者认为深度网络可以带来模块化的好处，随着网络的层级，神经网络会将像素元素逐渐归纳出一些基本的特征，进而变成纹理，进而变成对象。

训练方法

作者总结下来训练过程中会发现了两种情况：
1. 没有办法得到很好的训练结果 ---》重新选择训练方式
2. 没有办法得到很好的测试结果 ---》往往由于过度拟合导致，需要重新定义方法

优化训练方法的手段：
1. 选择合适的Loss function：使用Cross Entropy效果要优于Mean Square Error
2. Mini-batch: 每次训练使用少量数据而不是全量数据效率更高
3. Activation Function：使用ReLU替代Sigmoid可以解决梯度消失的问题，可以训练更深的神经网络
4. Adaptive Learning Rate：可以随着迭代不断自我调整，提高学习效率
5. Momentum: 可以一定程度上避免陷入局部最低点的问题

避免过度拟合（overfitting）的方法：
1. Early Stopping：使用cross validation的方式，不断对validation data进行检验，一旦发现预测精度下降则停止。
2. Weight Decay：参数正则化的一种方式？
3. Dropout：通过随机去掉一些节点的连接达到改变网络形式，所以会产生出多种网络形态，然后汇集得到一个最佳结果
4. Network Structure: 例如CNN等其他形态的网络