学习总结，回头看还能知道学了啥。

学习目录

0.线性回归：
1.softmax与分类模型
2.多层感知机
3.过拟合欠拟合及其解决方案
4.梯度消失梯度爆炸
5.卷积神经网络基础
6.LeNet
7.卷积神经网络进阶
8.批量归一化和残差网络
9.循环神经网络
10.循环神经网络进阶
11.凸优化
12.梯度下降
13.优化算法进阶
14.数据增强
15.模型微调
16.目标检测基础
17.图像风格迁移

0-4

0-1讲了基本的定义，回归和分类问题，模型，数据集。
2-4引出多层感知机，也是深度学习的基本元素，多层感知机带来的梯度爆炸梯度消失问题，看loss分析过拟合欠拟合，解决过拟合方法可以用正则法，丢弃法等等。

5-8

5-8介绍了基本的卷积神经网络演化经历，以及pytorch版的实现，一开始使用卷积神经网络的LeNet带来了权重共享，局部感受野，位移不变性等等。后来出现了AlexNet，使用了relu激活函数和dropout以及更深的网络，实现了超越手工的提取特征。VGG带着更深的网路来了，与前面使用大卷积核提取特征不同，它使用3x3的卷积核，提出两个3x3等于一个5x5感受野，而且增加的层数还能提高非线性能力。这些网络都是卷积层，池化层，全连接层的堆叠，而NiN提出了一个特别的思路，不堆叠了，把全连接层删掉，再卷积层后面加上1x1的卷积层在通道上实现"全连接层"，最后直接把通道当作预测的分类。GoogLeNet的Inception系列，利用1x1减少通道数减少计算，以及基础层改为多核不同的感受野。残差网络ResNet，由于再加深的网络带来的性能提升已经不高，还会带来梯度、收敛问题，残差网络利用残差块更快速的向前传播。DenseNet是残差网络的改版，把残差网络中输入和输出相加变成合并，重用前面层的特征。
除了网络还有批量归一化，在前向时进行中间层归一化调整数据分布，使收敛更加准确。

9-10

9-10讲的是循环神经网络，特点在于增加了中间变量记忆信息，可以记忆全局的特征。

11-13

凸优化和梯度下降，凸优化就是最优化凸函数，挑战在于函数的局部最小值，鞍点和梯度消失问题，在这三个问题里面的梯度都是几乎接近0的。梯度下降是优化算法，凸优化的过程，通过学习率和梯度方向来使函数一步一步达到最优。优化算法进阶讲了更多的优化算法，这些改进的优化算法可以更快速的收敛，更好的解决凸优化的问题。

14-15

数据增强可以用来解决数据集较少问题，也可以用来提高泛化能力，对原始数据的多变种（裁剪，翻转，旋转，噪音）能够获得更加复杂多样的数据。模型微调是加快实现网络的方法，拿到和你问题相似的已训练模型，因为特征提取方面都是很相同的，所以你只需要训练最后全连接层的分类类别，或者最后几层就行，不需要全部重新训练。

16

目标检测的基础，这里主要讲了目标检测的锚框，如何在图像上生成多个锚框，使用IOU来匹配真实值，匹配的规则， 多个锚框输出用NMS抑制。

17

图像风格迁移，用特征提取网络提取图像特征，对于内容图像则提取后面层的高级特征，对于样式图像则提取较低层的底层特征，三个loss，内容损失loss，样式loss，总噪声loss。

• 点赞
• 收藏
• 分享
• 文章举报