Kaiming He_etc -Deep Residual Learning for Image Recognition-CVPR整理

1.   Abstract

从2012年的AlexNet 开始，cnn 发展迅速

从AlexNet 到ResNet  模型层数不断加深。网络层数越深，网络的表达能力就越强。

AlexNet	VGG	GoogleNet	ResNet
7	16	22	152

在加深模型层数的时候，作者发现存在 退化现象需要解决

退化现象即 ，深层的网络学习的效果反而不如浅层网络的好，见下图。



ResNet 于NN的对比如下





可以看到ResNet 做了一个shortcut

Shortcut 连接的网络层我们称为一个残差块，见figure 2



用数学语言表达如下。其中σ代表非线性函数ReLU

2.   Why ResNet work?

2.1 Reason1

这里举了一个例子

假设在第一轮迭代，网络中某个神经元 输入的X 是5，输出是5.1

残差块 和普通神经网络对比如下。



第二论迭代 对于同一个网络层（残差块）依然输入5， 经过上一轮学习W的值may change ,

假设output 改变为5.2



这里能够很明显的看出对比

对于残差块，映射F(x)是从0.1到0.2，增加了100%

对于普通网络，映射F(x) 的输出增加了1/51=2%

 

这就代表着引入残差后的映射对输出的变化更敏感，残差的思想都是去掉相同的主体部分，从而突出微小的变化

 

Reason2

残差网络的初始化

对于下图的ResNet



上图的ResNet 他的初始化如下图。



初始的ResNet 可以看作一个多层的恒等映射。

作者在paper 开头提到恒等映射，通过恒等映射可以加深网络层数又不使网络的学习效果更差。ResNet 的初始化 来自恒等映射的思想，学习找到对恒等映射的扰动会比重新学习一个映射函数要容易，这也使得ResNet 相比传统的NN 更容易学习

3.   Result

作者用ImageNet2012的分类数据集，有1000个分类，用这个数据集来评估我们的方法。

各模型均用128万张训练图片，用来评估的验证集有5万张交叉验证图片。

首先评测了18/34层的普通网络





可以看到ResNet在深层网络有着更好Performance,

但是在Inception-v4的那片文章中 Inception-v4 有着类似于Inception-ResNet的性能

Inception-v4的作者认为残差网络确实能够让网络学习的更快，但对于退化现象ResNet 并不是唯一的解决办法。Inceotion-v4。这里我觉得通过调节学习率也能够达到让网络更容易学习的效果。

理解不当的地方希望您看到后能够留言指正，我会即使改正。