您的位置:首页 > 其它

Inception-ResNet and the Impact of Residual Connections on Learning 论文阅读

2018-02-13 22:49 761 查看

InceptionV4: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

0.简介

文章的标题说明了文中具体做的3件事情:

提出了Inception-V4;

结合Inception与ResNet结构提出Inception-ResNet

讨论了 Residual Connections 的影响

Inception结构在低计算量有着良好的性能。Residual connection不同于传统网络结构,性能和Inception-v3相近。作者尝试将Inception结构和Residual connection结合,提出了新的网络结构Inception-v4与Inception-ResNet进行对比实验。residual connections可以提高Inception网络的准确率,并不会提高计算量;residual connection并不是训练very deep network的必要条件,但可以显著的加快训练的速度采。用3个带有residual connection的Inception模型和1个Inception v4模型,在ImageNet分类比赛中,ensembles 的top-5的错误率为3.08%。

笔记中不在对ResNet,Inception做相关介绍,具体见[ResNet][InceptionV3]

1.模型

基于Inception-v3和Inception-v4,文中分别得到了Inception-ResNet-v1和Inception-ResNet-v2两个模型。文中涉及到的三种网络结构如下:

Inception-V4:



Inception-ResNet-V1:



Inception-ResNet-V2:



其中三种网络模型中ReductionA 的四个参数:



实验

首先文中提到当卷积核超过1000个的大网络训练时,将残差(residuals)缩小(Scaling)有助于训练的稳定性。这个做法同原始ResNet论文中的two-phase training的效果类似,不过随着卷积核数量超过1000,warm up 方法已经不能解决该问题。

收敛速度比较



模型效果





证实带有Residual Connection的Inception 收敛速度更快,与不带的最终结果相当。

总结

本文将ResNet与Inception结合得到了很好的效果,从本文中,可以更加具体的理解ResNet与Inception的异同,最终的实验结果证明,Inception模型是可以学习ResNet中所说的恒等变换,不过需要更多的训练iter,证明了Incepton与ResNet的有效性。文中图很多,看起来也很乱。。。。。。。。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐