深究深度残差网络 Analyze deeply Residual Networks

---我们的基本设计方案(VGG-style)

 所有的3x3卷积层（几乎所有）

空间规模/2=>#过滤器x2 (~每一层的复杂度相同)

简约的设计风格；保持设计风格的简约性

 

 ---VLAD & 费舍尔向量(Fisher Vector) [Jegou et al 2010], [Perronnin et al 2007]

 

编码残差向量；强大的较浅表示法。

 

---产品量化(IVF-ADC) [Jegou et al 2011]

 

量化残差向量；高效最近邻搜索。

 

---多栅 & 分层的先决前提 [Briggs, et al 2000], [Szeliski 1990, 2006]

 

解决残差次要问题；高效PDE求解器。

---优点：

（1）特别深的残差网络很容易优化，但当深度增加时对应的“平面”网（即简单的堆栈层）表现出更高的训练误差。

（2）深度残差网络能够在大大增加深度的同时获得高精准度， 产生的结果本质上优于以前的网络。

---VGG-Net的所有 convolutional layer 使用同样大小的 convolutional filter，大小为 3 x 3。

---VGG-Net 的组成：http://blog.csdn.net/u012767526/article/details/51442367#vgg的组成

----VGG-Net的分析：这里有两个表格，其中第一个表格是描述的是VGGNet的诞生过程。为了解决初始化（权重初始化）等问题，VGG采用的是一种Pre-training的方式，这种方式在经典的神经网络中经常见得到，就是先训练一部分小网络，然后再确保这部分网络稳定之后，再在这基础上逐渐加深。表1从左到右体现的就是这个过程，并且当网络处于D阶段的时候，效果是最优的，因此D阶段的网络也就是最后的VGGNet啦！

----VGG的组成：

由表一D可以看出，VGG也是由卷积和全连接部分组成，在卷积部分，VGG采用的是展度为3的过滤器，卷积步长为1，2*2并且步长为2的MaxPooling。之后将卷积部分的结果传到全连接部分，全连接部分则是有3个全连接层以及一个SOFTMAX层构成。VGG的结果是很符合我们的经典深度神经网络的结构的。