TensorFlow深度学习笔记 从线性分类器到深度神经网络

Github工程地址：https://github.com/ahangchen/GDLnotes

欢迎star，有问题可以到Issue区讨论

官方教程地址
视频/字幕下载

Limit of Linear Model

实际要调整的参数很多



如果有N个Class，K个Label，需要调整的参数就有(N+1)K个

Linear Model不能应对非线性的问题



Linear Model的好处

GPU就是设计用于大矩阵相乘的，因此它们用来计算Linear Model非常efficient
Stable：input的微小改变不会很大地影响output



求导方便：线性求导是常数



我们希望参数函数是线性的，但整个model是非线性的

所以需要对各个线性模型做非线性组合

最简单的非线性组合：分段线性函数（RELU）

Neural network

用一个RELU作为中介，一个Linear Model的输出作为其输入，其输出作为另一个Linear Model的输入，使其能够解决非线性问题



神经网络并不一定要完全像神经元那样工作
Chain Rule：复合函数求导规律



Lots of data reuse and easy to implement（a simple data pipeline）

Back propagation



计算train_loss时，数据正向流入，计算梯度时，逆向计算
计算梯度需要的内存和计算时间是计算train_loss的两倍

Deep Neural Network

Current two layer neural network:

优化：

优化RELU(隐藏层), wider
增加linear层，layer deeper



Performance: few parameters by deeper
随层级变高，获得的信息越综合，越符合目标

About t-model

t-model只有在有大量数据时有效
今天我们才有高效的大数据训练方法：Better Regularization
难以决定适应问题的神经网络的规模，因此通常选择更大的规模，并防止过拟合

Avoid Overfit

Early Termination

当训练结果与验证集符合度下降时，就停止训练

Regulation

给神经网络里加一些常量，做一些限制，减少自由的参数
L2 regularization



在计算train loss时，增加一个l2 norm作为新的损失，这里需要乘一个β（Hyper parameter），调整这个新的项的值

Hyper parameter：拍脑袋参数→_→

l2模的导数容易计算，即W本身

DropOut

最近才出现，效果极其好
从一个layer到另一个layer的value被称为activation
将一个layer到另一个layer的value的中，随机地取一半的数据变为0，这其实是将一半的数据直接丢掉
由于数据缺失，所以就强迫了神经网络学习redundant的知识，以作为损失部分的补充
由于神经网络中总有其他部分作为损失部分的补充，所以最后的结果还是OK的
More robust and prevent overfit
如果这种方法不能生效，那可能就要使用更大的神经网络了

评估神经网络时，就不需要DropOut，因为需要确切的结果
可以将所有Activation做平均，作为评估的依据
因为我们在训练时去掉了一半的随机数据，如果要让得到Activation正确量级的平均值，就需要将没去掉的数据翻倍



原文链接：http://www.jianshu.com/p/6d2756d33b67