机器学习学习笔记--卷积网络的层次结构
2017-11-04 12:29
316 查看
在卷积神经网络(Convolutional Neural Network,CNN)中,卷积层的神经元只与前一层的部分神经元节点相连,即它的神经元间的连接是非全连接的,且同一层中某些神经元之间的连接的权重
卷积神经网络CNN的结构一般包含这几个层:
输入层:用于数据的输入
卷积层:使用卷积核进行特征提取和特征映射
激励层:由于卷积也是一种线性运算,因此需要增加非线性映射
池化层:进行下采样,对特征图稀疏处理,减少数据运算量。
全连接层:通常在CNN的尾部进行重新拟合,减少特征信息的损失
输出层:用于输出结果
当然中间还可以使用一些其他的功能层:
归一化层(
切分层:对某些(图片)数据的进行分区域的单独学习
融合层:对独立进行特征学习的分支进行融合
在卷积层中有几个重要的概念:
感知视野 (
共享权值 (
假设输入的是一个
可类似看作:隐藏层中的神经元具有一个固定大小的感知视野去感受上一层的部分特征。在全连接神经网络中,隐藏层中的神经元的感知视野足够大乃至可以看到上一层的所有特征。
而在卷积神经网络中,隐藏层中的神经元的感受视野比较小,只能看到上一次的部分特征,上一层的其他特征可以通过平移感知视野来得到同一层的其他神经元,由同一层其他神经元来看
w和偏移
b是共享的(即相同的),这样大量地减少了需要训练参数的数量。
卷积神经网络CNN的结构一般包含这几个层:
输入层:用于数据的输入
卷积层:使用卷积核进行特征提取和特征映射
激励层:由于卷积也是一种线性运算,因此需要增加非线性映射
池化层:进行下采样,对特征图稀疏处理,减少数据运算量。
全连接层:通常在CNN的尾部进行重新拟合,减少特征信息的损失
输出层:用于输出结果
当然中间还可以使用一些其他的功能层:
归一化层(
Batch Normalization):在CNN中对特征的归一化
切分层:对某些(图片)数据的进行分区域的单独学习
融合层:对独立进行特征学习的分支进行融合
在卷积层中有几个重要的概念:
感知视野 (
local receptive fields)
共享权值 (
shared weights)
假设输入的是一个
28×28的二维神经元,我们定义
5×5的一个
local receptive fields(感知视野),即隐藏层的神经元与输入层的
5×5个神经元相连,这个
5×5的区域就称之为
Local Receptive Fields
可类似看作:隐藏层中的神经元具有一个固定大小的感知视野去感受上一层的部分特征。在全连接神经网络中,隐藏层中的神经元的感知视野足够大乃至可以看到上一层的所有特征。
而在卷积神经网络中,隐藏层中的神经元的感受视野比较小,只能看到上一次的部分特征,上一层的其他特征可以通过平移感知视野来得到同一层的其他神经元,由同一层其他神经元来看
相关文章推荐
- CNN学习笔记(二)卷积神经网络经典结构
- 网络结构设计——负载均衡之LVS学习笔记(三)
- 斯坦福机器学习公开课笔记(六)--神经网络的学习
- 深度学习之卷积网络的层级结构
- Tensorflow学习笔记(5)-网络结构的构建
- 学习笔记——吴恩达-机器学习课程-1.3 用神经网络进行监督学习
- Andrew NG 机器学习 笔记-week5-神经网络的学习(Neural Networks:Learning)
- 神经网络与机器学习导言笔记——网络结构与知识表示
- CCNA学习笔记之网络体系结构
- python OpenCV学习笔记(二十):轮廓层次结构
- IOS学习笔记(五)之视图的层次结构,查找,常用属性与清理学习
- 深度学习笔记二:多层感知机(MLP)与神经网络结构
- 吴恩达深度学习笔记 course4 week2 深度卷积网络 实例探究
- H.264学习笔记之一(层次结构,NAL,SPS)
- 受限玻尔兹曼机(RBM)学习笔记(二)网络结构
- CNN学习笔记(一)卷积神经网络基础知识
- Andrew NG机器学习课程笔记系列之——机器学习之神经网络模型-下(Neural Networks: Representation)
- CNN卷积神经网络学习笔记2:网络结构
- 学习笔记TF052:卷积网络,神经网络发展,AlexNet的TensorFlow实现
- 机器学习笔记:tensorflow实现卷积神经网络经典案例--识别手写数字