一文理解深度学习,卷积神经网络,循环神经网络的脉络和原理2-卷积神经网络
2017-09-27 14:08
856 查看
卷积神经网络,本质也是一种BP神经网络,但是采用了一些手段和技巧对抗梯度消失,卷积神经网络特别适用用于图像处理。
详细参考下面的文章,已经写的很好。
http://www.cnblogs.com/nsnow/p/4562308.html
这里我们讲一个详细的例子:
输入层 32*32.
C1层: 5*5的卷积,使用6个卷积核。也就是六套权重。总共6*5*5+6个参数。后面的6是偏置值。经过卷积后形成 6个28*28的特征图像。
S2层:6个28*28的经过2*2的子采样,形成 6个14*14的特征图像。
C3:6个14*14的特征图像 经过 5*5卷积操作形成。16个10*10的卷积特征。这里要注意。卷积核不再相等。是因为,这14个卷积核,是通过排列组合,每次从前面的6个卷积核中抽取3个。最后组合形成14个。这样做的意义在于,把不同的卷积核的特征混合起来。
S4 子采样,16个10*10的卷积特征,经过2*2的采样,形成 16个5*5的卷积特征
C5 卷积操作,每个5*5特征平面经过5*5的卷积操作,就会变成一个数字特征。然后采用全连接的方式和120个神经元相连。
F6层,是84个神经元。代表了7*12的像素点。leNet-5的训练图片就是7*12的。这里正好就是对应了一个7*12的图片。用这个输出和具体的手写体求一个相似性。然后把这个相似性最高的作为最后的输出。
最后给大家推荐一个论文。 Deep Convolutional Neural Network Design Patterns。上面描述了很多卷积神经网络的设计模式,可以参考一下。
详细参考下面的文章,已经写的很好。
http://www.cnblogs.com/nsnow/p/4562308.html
这里我们讲一个详细的例子:
输入层 32*32.
C1层: 5*5的卷积,使用6个卷积核。也就是六套权重。总共6*5*5+6个参数。后面的6是偏置值。经过卷积后形成 6个28*28的特征图像。
S2层:6个28*28的经过2*2的子采样,形成 6个14*14的特征图像。
C3:6个14*14的特征图像 经过 5*5卷积操作形成。16个10*10的卷积特征。这里要注意。卷积核不再相等。是因为,这14个卷积核,是通过排列组合,每次从前面的6个卷积核中抽取3个。最后组合形成14个。这样做的意义在于,把不同的卷积核的特征混合起来。
S4 子采样,16个10*10的卷积特征,经过2*2的采样,形成 16个5*5的卷积特征
C5 卷积操作,每个5*5特征平面经过5*5的卷积操作,就会变成一个数字特征。然后采用全连接的方式和120个神经元相连。
F6层,是84个神经元。代表了7*12的像素点。leNet-5的训练图片就是7*12的。这里正好就是对应了一个7*12的图片。用这个输出和具体的手写体求一个相似性。然后把这个相似性最高的作为最后的输出。
最后给大家推荐一个论文。 Deep Convolutional Neural Network Design Patterns。上面描述了很多卷积神经网络的设计模式,可以参考一下。
相关文章推荐
- 一文理解深度学习,卷积神经网络,循环神经网络的脉络和原理4-循环神经网络,LSTM
- 一文理解深度学习,卷积神经网络,循环神经网络的脉络和原理3-残差神经网络
- 一文理解深度学习,卷积神经网络,循环神经网络的脉络和原理1-深度学习基础
- 深度学习基础(五):循环神经网络概念、结构及原理实现
- 深度学习基础模型算法原理及编程实现--06.循环神经网络
- 开始学习深度学习和循环神经网络Some starting points for deep learning and RNNs
- 【直观理解】一文搞懂RNN(循环神经网络)基础篇
- 零基础入门深度学习(5) - 循环神经网络
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
- 深度学习——循环神经网络RNN(一)_反向传播算法
- Coursera deeplearning.ai 深度学习笔记1-3-Shallow Neural Networks-浅层神经网络原理推导与代码实现
- arxiv | 技术概述深度学习:详解前馈、卷积和循环神经网络
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
- 【神经网络与深度学习】卷积神经网络(CNN)
- 深度学习中对神经网络的理解
- 第五章(1.4)深度学习——神经网络架构和原理
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
- 深度学习之循环神经网络算法
- 深度学习 2 机器学习 神经网络 卷积神经网络
- 深度学习——循环神经网络/递归神经网络(RNN)及其改进的长短时记忆网络(LSTM)