googLeNet--Inception四部曲四Inception-ResNet and the Impact of Residual Connections on Learning

原论文：Going deeper with convolutions

作者：Christian Szegedy，Wei Liu，Yangqing Jia，Pierre Sermanet，Scott Reed，Dragomir Anguelov，Dumitru Erhan，Vincent Vanhoucke，Andrew Rabinovich

时间：February 2012

本文的大部分观点来自于这篇论文，并且加入了一些自己的理解。该博客纯属读书笔记。

Pure Inception blocks

基于对TensorFlow系统的使用，使得Inception architecture不需要过多的考虑分布式训练带来的诸多问题，不需要考虑模型的分割。这样我们的模型的结构会更简洁，计算量也更少。

Scaling of the Residuals

文章提到当卷积核的数量超过1000个时，残差学习会变得不稳定，当随着迭代次数增加，参数基本为0，也就是说残差学习最终得到的只是一个恒等映射。而通过缩放残差因子x可以使得训练更加稳定。文章还否定了ResNet的two-phase 训练方法，先使用较低的学习率训练进行预热，然后使用高学习率。但是这种做法在卷积核数量很多的情况下也行不通。所以文章最终只采用缩放残差因子的方法进行训练。
实验结果如图1所示。总体效果差强人意，毕竟残差学习是微软的成果，而且文章只是把效果提升归结于模型规模的提升。


图1