深度学习 卷积神经网络学习笔记1
2017-08-29 17:28
239 查看
BP神经网络存在以下问题:
1.层次较多时需要耗费大量资源
2.当数据量较小时,容易产生过拟合现象
1.卷积神经网络结构
卷积神经网络(简称CNN)的结构图如下图
卷积神经网络由一般结构构成:卷积层、激励层、池化层、全连接层
利用权值共享的方式把结果传递给激活函数,权值共享可以减少模型的复杂度、使网络更易训练
和average pooling(取数据区块的平均值),
利用的是BP神经网络进行计算
5.卷积神经网络的应用
1.计算机视觉:图像分类、对象追踪、姿态估计、视觉显著性检测、行为追踪、场景标示
2.自然语言处理(NLP):把句子或文档以矩阵的形式表示,把矩阵当成一副图像
3.语音识别等
1.层次较多时需要耗费大量资源
2.当数据量较小时,容易产生过拟合现象
1.卷积神经网络结构
卷积神经网络(简称CNN)的结构图如下图卷积神经网络由一般结构构成:卷积层、激励层、池化层、全连接层
2.卷积层作用
卷积层学习输入的特征表示,在学习过程中输入特征会被分割成一些区块,每个区块的卷积核相同,输入特征与卷积核做卷积,利用权值共享的方式把结果传递给激活函数,权值共享可以减少模型的复杂度、使网络更易训练
3.池化层作用
池化层夹在连续的卷积层和激励层中间,进行数据压缩,减小过拟合,主要的压缩方式有Max pooling(取数据区块的最大值)和average pooling(取数据区块的平均值),
4.全连接层(BP神经网络)
几个卷积层和池化层之后,通常有一个或几个全连接层,他们把前一层所有的神经元与当前层的每一个神经元相连接,这一层利用的是BP神经网络进行计算
5.卷积神经网络的应用
1.计算机视觉:图像分类、对象追踪、姿态估计、视觉显著性检测、行为追踪、场景标示2.自然语言处理(NLP):把句子或文档以矩阵的形式表示,把矩阵当成一副图像
3.语音识别等
6.卷积神经网络怎样减少梯度下降
通过激活函数relu减少梯度下降相关文章推荐
- 深度学习笔记 (一) 卷积神经网络基础 (Foundation of Convolutional Neural Networks)
- 深度学习Caffe实战笔记(7)Caffe平台下,如何调整卷积神经网络结构
- 深度学习笔记 (二) 在TensorFlow上训练一个多层卷积神经网络
- 吴恩达深度学习笔记之卷积神经网络(实例探究)
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-01-CNN基础知识点
- 吴恩达深度学习笔记五:卷积神经网络 人脸识别和风格迁移部分
- 深度学习Caffe实战笔记(7)Caffe平台下,如何调整卷积神经网络结构
- 吴恩达深度学习笔记之卷积神经网络(特殊应用)
- Coursera deeplearning.ai 深度学习笔记4-1-Foundations of Convolutional Neural Networks-卷积神经网络基础及代码实现
- Google 深度学习笔记 卷积神经网络
- TensorFlow 深度学习笔记 卷积神经网络
- 深度学习笔记 (二) 在TensorFlow上训练一个多层卷积神经网络
- Tensorflow深度学习笔记(九)--卷积神经网络(CNN)
- 吴恩达-深度学习笔记《卷积神经网络》
- 深度学习笔记三-CNN(卷积神经网络)是什么?(续)
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-02-基于Python的卷积运算
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-02-基于Python的卷积运算
- 深度学习笔记五:卷积神经网络CNN(基本理论)
- 深度学习笔记1:神经网络 卷积神经网络
- Deep Learning(深度学习)学习笔记整理系列之(七)Convolutional Neural Networks卷积神经网络