CNN网络结构 - Refining Architectures of Deep Convolutional Neural Networks
2016-10-28 15:58
447 查看
CVPR 2016
Refining Architectures of Deep Convolutional Neural Networks
本文的出发点是回答下面的问题: is the selected CNN optimal for the dataset in terms of accuracy and model size?
针对一个现有的多类别数据集,使用CNN进行分类,那么我们选择的CNN 模型在精度和模型大小上是否是最优的?
Given a pre-trained CNN for a specific dataset, refine the architecture in order to potentially increase the accuracy while possibly reducing the model size
这里我们定义了两个操作方法来调整模型使其最优。
Intuition behind our approach: 给定一个数据集,固定网络的深度,怎么最好的区分数据集上的类别?我们的方法首先从一个预训练好的CNN模型开始,然后学习该数据集中所有类在每一个卷积层上的区分度。基于数据集的属性,数据集中某一些类在较低的卷积层区分度较好,另一些类在较低的卷积层区分度则较低。类似的波动在较高的卷积层也可以被发现。和给定层的前一层相比较,该给定层对某些类可以增加区分,对另些类可以降低区分。区分度增加的类的数目和增加该层的神经元个数有关( stretching / widening);区分度降低的类的数目和对称切分该层的神经元有关( symmetric splitting)。所以 stretch and split操作可以同时应用于每一卷积层。stretch 或 split 的多少不仅取决于对当前层类别区分能力的影响,还取决于对其后续层的类别区分度影响。当 stretch and split 的操作固定下来后,我们可以调整网络,在相同的数据集上重新训练。
结果对比:
Refining Architectures of Deep Convolutional Neural Networks
本文的出发点是回答下面的问题: is the selected CNN optimal for the dataset in terms of accuracy and model size?
针对一个现有的多类别数据集,使用CNN进行分类,那么我们选择的CNN 模型在精度和模型大小上是否是最优的?
Given a pre-trained CNN for a specific dataset, refine the architecture in order to potentially increase the accuracy while possibly reducing the model size
这里我们定义了两个操作方法来调整模型使其最优。
Intuition behind our approach: 给定一个数据集,固定网络的深度,怎么最好的区分数据集上的类别?我们的方法首先从一个预训练好的CNN模型开始,然后学习该数据集中所有类在每一个卷积层上的区分度。基于数据集的属性,数据集中某一些类在较低的卷积层区分度较好,另一些类在较低的卷积层区分度则较低。类似的波动在较高的卷积层也可以被发现。和给定层的前一层相比较,该给定层对某些类可以增加区分,对另些类可以降低区分。区分度增加的类的数目和增加该层的神经元个数有关( stretching / widening);区分度降低的类的数目和对称切分该层的神经元有关( symmetric splitting)。所以 stretch and split操作可以同时应用于每一卷积层。stretch 或 split 的多少不仅取决于对当前层类别区分能力的影响,还取决于对其后续层的类别区分度影响。当 stretch and split 的操作固定下来后,我们可以调整网络,在相同的数据集上重新训练。
结果对比:
相关文章推荐
- 论文笔记 Ensemble of Deep Convolutional Neural Networks for Learning to Detect Retinal Vessels in Fundus
- CNN网络分解--Factorized Convolutional Neural Networks
- [论文阅读]Relay Backpropagation for Effective Learning of Deep Convolutional Neural Networks
- Deep Convolutional Neural Networks for Microscopy-Based Point of Care Diagnostics 阅读
- CNN网络二值化--XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
- 《On Classification of Distorted Images with Deep Convolutional Neural Networks》翻译
- 神经网络不同激活函数比较--读《Understanding the difficulty of training deep feedforward neural networks》
- 神经网络压缩(6):Exploring the Regularity of Sparse Structure in Convolutional Neural Networks
- End-to-End Learning of Deformable Mixture of Parts and Deep Convolutional Neural Networks for Human
- 经典网络结构AlexNet《ImageNet Classification with Deep Convolutional Neural Networks》
- 手机CNN网络模型--MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
- 经典网络结构AlexNet《ImageNet Classification with Deep Convolutional Neural Networks》
- 经典网络结构VGG-net《Very Deep Convolutional Networks for Large-Scale Image Recognition》
- 能帮你更好理解分析深度卷积神经网络《Better Analysis of Deep Convolutional Neural Networks》 CNNVis
- CNN网络量化 - Quantized Convolutional Neural Networks for Mobile Devices
- 论文阅读:End-to-End Learning of Deformable Mixture of Parts and Deep Convolutional Neural Networks for H
- Convolutional Neural Networks (CNNs / ConvNets)
- ImageNet Classification with Deep Convolutional Neural Networks 阅读笔记 转载
- 深度学习入门学习:Multi-view Face Detection Using Deep Convolutional Neural Networks
- ImageNet Classification with deep convolutional neural networks