GoogleNetV1: Going Deeper with Convolutions 论文阅读

0. 简介

论文pdf在这里，本篇论文是针对ImageNet2014的比赛，论文中的方法是比赛的第一名，包括task1分类任务和task2检测任务。本文主要关注针对卷积深度神经网络结构，通过改进神经网络的结构(depth&width)达到不增加计算资源需求的前提下提高网络的深度，从而达到提高效果的目的。

文中指出，近些年神经网络的发展方向是更深更宽的网络，论文受到[15]中使用很多不同尺寸的fixed Gabor filter的启发，设计了由可学习的filter组成的类似结构。文中着重强调了Network In Network 论文对自己的启发，也广泛的使用了1*1的卷积层。

they are mainly used as dimension reduction modules to remove computational bottlenecks

文中用到了R-CNN框架(location proposal +object classification)

1. 分析

最直接改善神经网络效果的方法是扩大神经网络的规模，但是这样做带来两个严重的问题：过拟合与计算量的急剧增长。解决这两个问题的办法可以参考论文[2]中的方法：

如果数据集的概率分布是一个十分稀疏的大型神经网络所能表达的，那么最合适的网络拓扑结构可以通过分析每一步的最后一层激活函数的统计关联性，并将具有高相关性输出的神经元进行聚类，而将网络一层一层地搭建起来。

这其实对应了hebbian规则：

Hebb学习规则是一个无监督学习规则，这种学习的结果是使网络能够提取训练集的统计特性，从而把输入信息按照它们的相似性程度划分为若干类。这一点与人类观察和认识世界的过程非常吻合，人类观察和认识世界在相当程度上就是在根据事物的统计特征进行分类。Hebb学习规则只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。

这样做的问题就是计算资源的不足以及网络结构的设计问题。Inception的体系结构始于尝试近似地用一个密集的可获得的组件表示一个视觉网络的稀疏结构的假设输出。 在调节了学习速率、超系数，和采用了更好的训练方法之后，成功地建立了Inception的体系结构，使之能够在定位和物体检测非常有效。

作者在这里指出Inception这个设计是否有效还需要多方面的验证。

2.网络结构

目的：设计一个密集网络来近似局部稀疏的结构。考虑到translation invariance那么要做的就只要设计密集型的block。

We assume that each unit from an earlier layer corresponds to some region of the input image and these units are grouped into filter banks.

意思文献[2]中提到的要把last layer的输出分析统计相关，聚类之后作为下一层的units，文中假设每层的任何一个unit相关于输入图像的一些区域，同时通过filters来 聚类这些units，对于底层，units更关注了局部小区域，同时他们可以被下一层的1*1的卷积cover，对于可能存在的占据空间更大的聚类，数目会减小，可以使用cover更大区域的卷积来完成这些聚类。文中使用了1*1,3*3,5*5的卷积避免patch-alignment。相关结构如下图：



为了减少大尺度卷积操作所带来的计算量，作者用1*1的conv来做compute reduction。

even low dimensional embeddings might contain a lot of information about a relatively large image patch.

得到Inception module：



最终得到GoogleNet模型：



为了节省计算资源，模型的前几层还是利用的ZFnet相似的做法，之后在高层加入了Inception，增加了一个linear层，方便在其他数据集上fine tune，最后使用的GAP来降低计算量，dropout的参数也有精心的设计。

为了让中间层更加discriminative，作者在训练模型的时候增加了附加分类器，同时这些分类器也有增强梯度信息，提供正则化的作用。

在比赛中，作者用了ensemble的方法，最终获得了top5-error rate 6.67% 的成绩。

3. 总结

1.论文主要基于从设计稀疏网络的近似密集网络的角度出发，引文2有必要读一下，

2.增加的附加分类器层也是一种比较合理的方法，模型尽可能节省计算资源的前提下取得了非常好的成绩。