Visualizing and Understanding ConvNet论文心得
2016-01-23 21:51
357 查看
摘要
这篇文章介绍了一种方法去探究卷积神经网络是如何用中间层的特征用作分类,通过特征层的可视化,有利于我们去修正我们的模型的参数。这篇文章的主要内容是:通过特征可视化的方法,修改了网络的结构,提高了Krizhevsky的ImageNet的分类准确率。
将ImageNet训练得到的网络应用到Caltech-101和Caltech-256数据集上分类,得到了最好的效果。
但是这篇文章没有谈到怎么具体的去可视化特征层,如何去可视化特征层的论文
[Zeiler, M. D., Taylor, G. W., & Fergus, R. (2011). Adaptive deconvolutional networks for mid and high level feature learning. Iccv, 2018–2025.](”)
介绍
相关工作
我们的方法是用一个非参数的方法,显示训练集的那个模式会激活FeatureMap方法
我们用的是标准的监督卷积网络模型,如ImageNet可视化和去卷积(DeConvnet)
文章提出了一个新的方法来映射FeatureMap到原始的像素,展示出原始的输入模式会产生怎样的FeatureMap。文章用的是Zelier的deconvnet。Zeiler提出了一种非监督学习的方法,不需要学习,从已经训练的卷积核的得到deconvnets。与ConvNet相反,DeConvNet有Unpooling,Rectification,Filtering。训练详情
一些参数和实验配置卷积可视化
分析了ImageNet的每层卷积的去卷卷积化的结果来改进网络模型的参数特征可视化
Fig.2 展示了特征的DeConv的结果,本文展示了9个最相似的图片的DeConv的结果比较。
例如:第五层的第一行第二列,识别结果说这些图像块相似,可视化结果显示FeatureMap凸显了背景的草,而不是前景的物体。
特征随着训练的变化
Fig.4 可以看低层的模型很少的步数就可以收敛了。高层的则需要模型完全收敛。
网络结构的选择
Fig.5 显示了ImageNet第一层和第二层的DeConv结果。发现第二层的可视化比较混淆,由于第一层比较大的间隔,将间隔设为2,卷积核大小设为7x7之后获得更好的结果
遮挡敏感性
作者通过实验证明,当在输入图片中遮挡了学习到的特征时,分类效果会很差。相关文章推荐
- bp神经网络及matlab实现
- CUDA搭建
- 稀疏自动编码器 (Sparse Autoencoder)
- 白化(Whitening):PCA vs. ZCA
- softmax回归
- 卷积神经网络初探
- Some Notes of Caffe Installation
- Some Notes of Python Interfaces Pycaffe (Caffe)
- 基于神经网络的预测模型
- 神经网络初步学习手记
- 图像识别和图像搜索
- 卷积神经网络
- 深度学习札记
- RBF的一点个人理解
- 利用自收敛深度人工神经网络构建(DNN)构建多语种大词汇量连续语音识别系统
- UFLDL Exercise: Convolutional Neural Network
- 基于遗传算法(GA)的神经网络训练算法
- 神经网络 caffe 的 vs2013 版本代码
- 传统BP神经网络完整例子(电力负荷预测)
- 图像智能打标签‘神器’-AlchemyVision API