Network in Network 学习笔记
2017-11-07 21:28
281 查看
前言:
本论文主要对卷积层(convolution layer)和全连接层(fully connected layer)进行改进。
并对改进结果用CIFAR-10 , CIFAR-100 , SVHN 和 MNIST 四个训练集实验并对比出结果。
一、 卷积层的改进——多层感知卷积器(MLP Convolution Layers)
GLM(广义线性模型):传统CNN中的卷积层,其实是用线性滤波器对图像进行内机运算,在每个局部输出后面跟着一个非线性的激活函数,最终得到的叫做特征图(feature maps)
GLM的抽象能力比较弱。
抽象:指得到对同一个概念的不同变体保持不变的特征。
MLP:多层感知器
优点:
1、多层感知器(MLP)也是使用BP算法进行训练,和CNN可以进行整合。
2、多层感知器可以作为一个深层结构,包含了特征重用思想。
传统CNN特征图计算公式:
使用多层感知卷积器后的特征图推导公式:
二、对全连接层进行改进——全局平均池化(Global Average Pooling)
全连接层缺点:更容易过拟合(overfitting)
引申:Dropout概念由Hinton等人提出,有效改善泛化能力和减少过拟合。
目的:为了使最后一个多层感知卷积获得每一个特征图能够对应一个输出类别。
优点:
1、使用全局平均池化能够强化特征图与类别的关系。
2、全局平均池化没有参数需要优化,因为可以避免在这一层出现过拟合(overfitting)。
过程:对每一个特征图求初平均数,然后将这些平均数组成一个特征向量,输入到softmax层中。
三、Network in Network
结构:三个多层感知卷机层,一个全局平局池化层。
四、实验结构与对比
训练集:CIFAR-10 , CIFAR-100 , SVHN 和 MNIST
结果:
本论文主要对卷积层(convolution layer)和全连接层(fully connected layer)进行改进。
并对改进结果用CIFAR-10 , CIFAR-100 , SVHN 和 MNIST 四个训练集实验并对比出结果。
一、 卷积层的改进——多层感知卷积器(MLP Convolution Layers)
GLM(广义线性模型):传统CNN中的卷积层,其实是用线性滤波器对图像进行内机运算,在每个局部输出后面跟着一个非线性的激活函数,最终得到的叫做特征图(feature maps)
GLM的抽象能力比较弱。
抽象:指得到对同一个概念的不同变体保持不变的特征。
MLP:多层感知器
优点:
1、多层感知器(MLP)也是使用BP算法进行训练,和CNN可以进行整合。
2、多层感知器可以作为一个深层结构,包含了特征重用思想。
传统CNN特征图计算公式:
使用多层感知卷积器后的特征图推导公式:
二、对全连接层进行改进——全局平均池化(Global Average Pooling)
全连接层缺点:更容易过拟合(overfitting)
引申:Dropout概念由Hinton等人提出,有效改善泛化能力和减少过拟合。
目的:为了使最后一个多层感知卷积获得每一个特征图能够对应一个输出类别。
优点:
1、使用全局平均池化能够强化特征图与类别的关系。
2、全局平均池化没有参数需要优化,因为可以避免在这一层出现过拟合(overfitting)。
过程:对每一个特征图求初平均数,然后将这些平均数组成一个特征向量,输入到softmax层中。
三、Network in Network
结构:三个多层感知卷机层,一个全局平局池化层。
四、实验结构与对比
训练集:CIFAR-10 , CIFAR-100 , SVHN 和 MNIST
结果:
相关文章推荐
- Network In Network学习笔记
- Network In Network学习笔记-ICLR 2014
- Network in Network学习笔记
- 深度学习(二十六)Network In Network学习笔记-ICLR 2014
- 深度学习(二十六)Network In Network学习笔记-ICLR 2014
- 深度学习(二十六)Network In Network学习笔记-ICLR 2014
- 深度学习(二十六)Network In Network学习笔记-ICLR 2014
- [深度学习论文笔记][Image Classification] Network in Network
- Deep Learning-TensorFlow (12) CNN卷积神经网络_ Network in Network 学习笔记
- 学习笔记:Network in Network(NIN)
- 深度学习论文笔记--Recover Canonical-View Faces in the Wild with Deep Neural Network
- 深度学习(二十六)Network In Network学习笔记-ICLR 2014
- Thinking in C++ 学习笔记(1) 类中的const
- "HOW TO: Create a Smooth Progress Bar in Visual C# .NET"的学习笔记
- Deep Q-Network 学习笔记(六)—— 改进④:dueling dqn
- 学习笔记:Creating Estimators in tf.contrib.learn
- Detecting Text in Natural Image with Connectionist Text Proposal Network论文笔记
- 《Thinking in Java》狗血的学习笔记-1对象
- 【Linux学习笔记】Linux C中内联汇编的语法格式及使用方法(Inline Assembly in Linux C)
- python built-in function 学习笔记