ResNet：Deep Residual Learning for Image Recognition

背景

There exists a solution by construction to the deeper model: the added layers are constructed as identity mappings, and the other layers are copied from the learned shallower model. The existence of this constructed solution indicates that a deeper model should produce no higher training error than its shallower counterpart.

CNN可以提取到不同层级的特征(low/mid/high level），且网络层数越高，提取到的特征语义信息越丰富。然而研究者发现，当网络不断加深时，网络的training error与test error均增大。这并不是因为过拟合，因为过拟合的话应该是training error减小，test error增大，而且这种现象还会随着深度加深而变差。这并不符合逻辑，因为可以把深层网络看做一个浅层网络+由增加的层组成的恒等变换，深层网络的训练误差至少也能达到与浅层网络一样的训练误差才对。而深层网络显然没有把这种恒等变换学习到。因此出现了ResNet，它的存在本质上就是学习到这个恒等变换。

ResNet

当一个深层网络后面的那些层是恒等变换，那么深层网络就退化为了一个浅层网络。现在要解决的就是学习恒等变换函数了。多层的神经网络理论上可以拟合任意函数，若直接让一些层去拟合一个潜在的恒等变换函数H(x) = x比较困难，这可能就是深层网络难以训练的原因。但是，如果把网络设计为H(x) = F(x) + x,如下图。我们可以转换为学习一个残差函数F(x) = H(x) - x. 只要F(x)=0，就构成了一个恒等映射H(x) = x. 而且，学习F(x)=0的映射比学习一个F(x)=x的映射更容易。

这样，既学习了恒等变换，又降低了训练难度。

Identity Mapping（恒等变换）

集合S的一个变换η,如果把S的每个元素a对应到它自身,即η(a)=a，对于任意的a∈S,则称η是S的恒等变换或单位变换,记作ε。 —— [ 百度百科 ]

ResNet为什么有效？

残差的思想是去掉相同的主体部分，从而突出微小的变化。 —— [ 来自一知乎答主 ]

比如把5映射到5.1，那么引入残差前是F’(5)=5.1，引入残差后是H(5)=5.1, H(5)=F(5)+5, F(5)=0.1。这里的F’和F都表示网络参数映射，引入残差后的映射对输出的变化更敏感。比如原来是从5.1到5.2，映射F’的输出增加了1/51=2%，而对于残差结构从5.1到5.2，映射F是从0.1到0.2，增加了100%。明显后者输出变化对权重的调整作用更大，所以效果更好。—— [ 来自一知乎答主 ]

因此ResNet有效解决了深层网络的梯度消失问题。

前向传播

反向传播

如果shortcut mapping——h(x)不是恒等变换呢？

实验结果显示，只有在shortcut mapping为恒等变换时才可以得到最小的误差。

设计规则

1.对于输出feature map大小相同的层，有相同数量的filters，即channel数相同；

2. 当feature map大小减半时（池化），filters数量翻倍。（64——>128）

对于残差网络，维度相等的shortcut连接为实线，反之为虚线。维度不相等时，同等映射有两种可选方案：

1.直接通过zero padding 来增加维度（channel）。这种方法并不增加参数。
2.乘以W矩阵投影到新的空间。实现是用1x1卷积实现的，直接改变1x1卷积的filters数目。这种会增加参数。

实验结果

相比简单叠加层构造的深度网络，深度残差网络更容易优化，而且，training_error与test_error均有所下降。

实验发现，如下结构的Resnet可以获得较好的效果，同时，最好将f和h均选择为恒等变换。

Related Works

参考网址：

http://www.jianshu.com/p/e58437f39f65

http://icml.cc/2016/tutorials/icml2016_tutorial_deep_residual_networks_kaiminghe.pdf