LeNet-5结构分析及caffe实现————卷积部分
2016-05-20 20:31
295 查看
占坑,记录
1、lenet-5的结构以及部分原理
2、caffe对于lenet-5的代码结构
图一
图一是整个LeNet-5的结构图,要点有:convolutions、subsampling、full connection、gaussian connection。
要点拆分:
1、convolution 是卷积操作,对应的概念有卷积核、特征图、权值共享。
图二
图二表示CNN中卷积操作。对卷积的要点解释:1、红色框内为2*2卷积核。2、蓝色框内为3*4的输入图像。3、绿色框为3*3的特征图。注意:绿框中未包含偏置项。如加入偏置项则每个输出多加上同一个偏置B,此时类似如:aw+bx+ey+fz+B bw+cx+fy+gz+B等。所谓的权值共享是每个卷积运算使用同一个卷积核,在上图中使用的是同一个卷积核,即共享权值。
卷积的优势:1、sparse interactions 2、parameter sharing 3、equivariant respections
sparse interactions————》》图三是效果图。蓝色框中是全连接神经网络,红色框是卷积网络。
图三
卷积相对于全连接是稀疏的。优势:1、参数更少 2、计算量降低。那么效果比较呢?
图四
图四是多层结构的联系图,可知通过增加网络层数,保留全局的特征。
parameter sharing————》》在图二部分已经分析完毕。优势:同样是减少了参数量。
equivariant respections——————》》当输入图像通过平移后,卷积的结果也会平移。
如上所示:数字7从右向左平移,对应红色框里的layer-1也进行了平移。同时注意:单就卷积操作而言,这种等变换在缩放、旋转上是不成立的。
对比:整个CNN操作(包括卷积层以及后面的层),主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。
参考:
《Deep Learning》Ian Goodfellow,Yoshua Bengio,AND Aaron Courville
《Gradient-Based Learning Applied to Document Recognition》YANN LECUN, MEMBER, IEEE, LEON BOTTOU, YOSHUA BENGIO, AND PATRICK HAFFNER
http://yann.lecun.com/exdb/lenet/index.html
1、lenet-5的结构以及部分原理
2、caffe对于lenet-5的代码结构
图一
图一是整个LeNet-5的结构图,要点有:convolutions、subsampling、full connection、gaussian connection。
要点拆分:
1、convolution 是卷积操作,对应的概念有卷积核、特征图、权值共享。
图二
图二表示CNN中卷积操作。对卷积的要点解释:1、红色框内为2*2卷积核。2、蓝色框内为3*4的输入图像。3、绿色框为3*3的特征图。注意:绿框中未包含偏置项。如加入偏置项则每个输出多加上同一个偏置B,此时类似如:aw+bx+ey+fz+B bw+cx+fy+gz+B等。所谓的权值共享是每个卷积运算使用同一个卷积核,在上图中使用的是同一个卷积核,即共享权值。
卷积的优势:1、sparse interactions 2、parameter sharing 3、equivariant respections
sparse interactions————》》图三是效果图。蓝色框中是全连接神经网络,红色框是卷积网络。
图三
卷积相对于全连接是稀疏的。优势:1、参数更少 2、计算量降低。那么效果比较呢?
图四
图四是多层结构的联系图,可知通过增加网络层数,保留全局的特征。
parameter sharing————》》在图二部分已经分析完毕。优势:同样是减少了参数量。
equivariant respections——————》》当输入图像通过平移后,卷积的结果也会平移。
如上所示:数字7从右向左平移,对应红色框里的layer-1也进行了平移。同时注意:单就卷积操作而言,这种等变换在缩放、旋转上是不成立的。
对比:整个CNN操作(包括卷积层以及后面的层),主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。
参考:
《Deep Learning》Ian Goodfellow,Yoshua Bengio,AND Aaron Courville
《Gradient-Based Learning Applied to Document Recognition》YANN LECUN, MEMBER, IEEE, LEON BOTTOU, YOSHUA BENGIO, AND PATRICK HAFFNER
http://yann.lecun.com/exdb/lenet/index.html
相关文章推荐
- 剑指offer(二十七)之数字在排序数组中出现的次数
- javascript 特效实现(2)——回到顶部效果
- jquery自定义别名
- Effective cpp 读书笔记10
- Effective cpp 读书笔记9
- 剑指offer(二十六)之数组中重复的数字
- 1.css的语法标准
- AngularJs(一)概述
- 初始JavaScript
- javascript road trip3@codeSchool
- 用js实现读取出字符串中每个字符重复出现的次数?
- 在JavaScript中模拟类(class)及类的继承关系
- jQuery中登录友好提示系列(1)
- 这些年微软相关的技术总结, Javascript在客户端的使用
- 对象
- js中sort()方法的用法,参数以及排序原理
- 237. Delete Node in a (Linked List)
- 如何用js控件div的滚动条,让它在内容更新时自动滚到底部?
- jQuery实现通知自动消失
- 剑指Offer——求1-n的和值