初步了解DeepLearning----《一天搞懂深度学习》

https://www.bilibili.com/video/av16543434/?from=search&seid=12028936768099284481

在B站看了一个讲解李宏毅教授的《一天搞懂深度学习》学习心得视频，如上。

一。

1.par*weight ->加上bias ->通过激活函数（activation function）->使得参数o（斯塔）最优化->在测试集中做出预测

2.learning target

   loss   与target的偏差

   total loss

3.如何学习

   梯度下降法  不断修正o

       首先随便找一点，根据曲线的斜率，逐渐向最低处（最优解）的地方走  ps：只能找到局部最优解

       caffe之类的软件可以帮助算斜率之类 得到以上的过程

4.应用

  图形辨识 垃圾信息过滤 分类文件

5.why DeepLearning？

   计算的层数越多，错误率越低，但是不可能不断加大计算的层数 于是

   modularization  先找最明显的特征 之后的每一层再以上一层为module去build classfier

   each basic classifier can have sufficient training examples.

二。tips for training deep learning neural network

测试的结果并不如预想中的那么好 原因可能是overfit  过度训练 喂的东西喂得太多了

如何去训练

①选一个比较好的方式去处理total loss

    Cross Entopy

②mini-batch

    把测试的资料分组

③new activation function

    ReLu 及时剔除较小的，接近于0的

    MaxOut  在每一层选最大的

    得到了thinner linear network 但是效果也更好的

④Adaptive Learning Rate

    learning rate  通俗理解是按照斜率走，每次走多少

    learning rate更好  <----- 随着时间变化   Adagrad

⑤momentum（动能）

    借助之前的力 继续再往前 往高走 有找到更优解的可能

为什么会overfit  测试和训练不一样

如何处理

   ①early stopping 在test与training最接近的时候就停

   ②regularization  将很久没有用到过的萎缩掉

   ③dropout 每一层去掉一定数量的神经元

   ④更好的network structure

三。variants of neural network

1.CNN

  ①找特征点

  ②可以将图缩小

  convolution 和max pooling 重复多次 最后flattern 算出结果

2.RNN

   neural network needs memory

四。next wave

1.network structure

2.learning target

  ①reinforcement learning 强制学习

  ②unsupervised learning 没有label  ->把相同的东西分了类