Visualizing and Understanding Convolutional Networks(精读)

一.文献名字和作者

     Visualizing and Understanding Convolutional Networks, ECCV2014
   

二.阅读时间

    2014年11月11日

三.文献的目的

    可视化CNN学习到的特征，并且从这些特征中找到改进神经网络的结构的方法。

四.文献的贡献点

4.1 特征可视化

    文献主要是提出了一种用于可视化卷积神经网络各个网络层学习到的特征的方法。
    通过对于特征的可视化分析，作者得出了下面的结论：1.底层特征在迭代次数比较少时就能收敛，高层需要的迭代次数比较多；2.CNN学习到的特征具有平移和缩放不变性，但是，没有旋转不变性。

4.2 对于CNN结构的改进

    通过特征可视化可以知道，Krizhevsky的CNN结构学习到的第一层特征只对于高频和低频信息有了收敛，但是对于中层信息却还没有收敛；同时，第二层特征出现了混叠失真，这个主要是因为第一个卷积层的层的步长设置为4引起的，为了解决这个问题，作者不仅将第一层的卷积核的大小设置为7*7,同时，也将步长设置为2.

4.3 对于遮挡的敏感性

    作者通过实验证明，当在输入图片中遮挡了学习到的特征时，分类效果会很差。

4.4 关联分析

    作者认为深度结构隐形地学习到不同图像中一些特定结构的关联性。通过遮挡不同图像的相同结构，然后计算学习的特征与没有遮挡之前学习到的特征之间的差，然后这些差的Hamming距离Δ，当Δ越小时，说明了网络还是学习到了一定的结构关联性。(这个地方不理解)

4.5 特征提取的通用性

    这个部分主要是作者通过实验说明了，将使用ImageNet2012数据集训练得到的CNN,在保持前面七层不变的情况，只在小数据集上面重新训练softmax层，通过这样的实验，说明了使用ImageNet2012数据集训练得到的CNN的特征提取功能就有通用性。

4.6 特征分析

    作者通过实验证明了，不同深度的网络层学习到的特征对于分类的作用，说明了深度结构确实能够获得比浅层结构更好的效果。

五.使用的数据库

     ImageNet2012数据集， Caltech-101， Caltech-256，PASCAL 2012

六.实验结果

版权所有，欢迎转载，转载请注明出处，谢谢