台大Machine Learning 2017Fall 卷积神经网络 Convolutional Neural Network
2017-10-26 19:15
549 查看
这是台大李宏毅教师Machine Learning 2017Fall课程
关于讲述卷积神经网络 Convolutional Neural Network内容的部分。
课程主页如下:台大Machine
Learning 2017Fall 感兴趣的可以去学习下,主页提供了教学ppt和教学视频。
一.首先有这样一个问题,为什么CNN非常适用于图像识别?这里给出了3个性质。
1.Some patterns are much smaller than the whole image。
图片中一些小的模式通常比整个图片小很多,例如下图中的鸟嘴。鸟嘴可以用一个神经元检测到。
2.The same patterns appear in different regions.
同样的模式可能会出现在图片的不同区域,如下图中的鸟嘴可以在图片上面和图片中间。
3.Subsampling the pixels will not change the object.
对图片像素进行Subsampling不会影响图片表示这个物体,如下图中将图片大小减半还是能看出是一个鸟。
接着给出一个做图像问题的CNN的通常网络架构,如下:
整个CNN网络架构中,大致可以由以下几个部分组成:
(1)Convolution卷积层
(2)Pooling池化层
(3)Fully ConnectedFeedforward network一个全连接的神经网络
其中convolution和pool可以重复很多次,同时对于上述的3个性质,
性质1,2是由Convolution卷积层来考虑(操作的),性质3是由Convolution卷积层来考虑(操作的)。
具体的卷积和池化是怎么做的,这里就不说明了,具体的可以参考李宏毅教师的教学录像视频。
二.接着这里介绍下,CNN和一般的全连接的神经网络的区别。
那么,对于网络层数相同的网络结构而言,CNN的所得到的function set实际上是全连接得到function
set的子集,
因为CNN采用了很多减少参数的方法,目的是为了加快训练速度。
1.对于一个全连接的网络层,实际上是上一层的所有输入和下一层的所有输出都有连接边,每一个连接边都需要训练出
一个weight,这样参数就很多,如下图:
2.对于CNN,convolution可以减少训练的参数量
(1)Filter只和上一层的所有输入的部分值有连接。
(2)由Filter滑动得到不同区域和下一层的连接边的训练weight是共享数值的。
这样就从两个程度上减少了总体需要训练的参数,如下图:
关于讲述卷积神经网络 Convolutional Neural Network内容的部分。
课程主页如下:台大Machine
Learning 2017Fall 感兴趣的可以去学习下,主页提供了教学ppt和教学视频。
一.首先有这样一个问题,为什么CNN非常适用于图像识别?这里给出了3个性质。
1.Some patterns are much smaller than the whole image。
图片中一些小的模式通常比整个图片小很多,例如下图中的鸟嘴。鸟嘴可以用一个神经元检测到。
2.The same patterns appear in different regions.
同样的模式可能会出现在图片的不同区域,如下图中的鸟嘴可以在图片上面和图片中间。
3.Subsampling the pixels will not change the object.
对图片像素进行Subsampling不会影响图片表示这个物体,如下图中将图片大小减半还是能看出是一个鸟。
接着给出一个做图像问题的CNN的通常网络架构,如下:
整个CNN网络架构中,大致可以由以下几个部分组成:
(1)Convolution卷积层
(2)Pooling池化层
(3)Fully ConnectedFeedforward network一个全连接的神经网络
其中convolution和pool可以重复很多次,同时对于上述的3个性质,
性质1,2是由Convolution卷积层来考虑(操作的),性质3是由Convolution卷积层来考虑(操作的)。
具体的卷积和池化是怎么做的,这里就不说明了,具体的可以参考李宏毅教师的教学录像视频。
二.接着这里介绍下,CNN和一般的全连接的神经网络的区别。
那么,对于网络层数相同的网络结构而言,CNN的所得到的function set实际上是全连接得到function
set的子集,
因为CNN采用了很多减少参数的方法,目的是为了加快训练速度。
1.对于一个全连接的网络层,实际上是上一层的所有输入和下一层的所有输出都有连接边,每一个连接边都需要训练出
一个weight,这样参数就很多,如下图:
2.对于CNN,convolution可以减少训练的参数量
(1)Filter只和上一层的所有输入的部分值有连接。
(2)由Filter滑动得到不同区域和下一层的连接边的训练weight是共享数值的。
这样就从两个程度上减少了总体需要训练的参数,如下图:
相关文章推荐
- 台大李宏毅Machine Learning 2017Fall学习笔记 (11)Convolutional Neural Network
- 卷积神经网络(Convolutional Neural Network)学习资料
- 卷积神经网络(Convolutional Neural Network)学习资料
- 一文读懂卷积神经网络(Convolutional Neural Network,CNN)
- ufldl学习笔记与编程作业:Convolutional Neural Network(卷积神经网络)
- 卷积神经网络 convolutional neural network
- 卷积神经网络(Convolutional Neural Network, CNN)
- 斯坦福大学卷积神经网络教程UFLDL Tutorial - Convolutional Neural Network
- 卷积神经网络(Convolutional Neural Network,CNN)
- 【深度学习】卷积神经网络(Convolutional Neural Network)
- 从CNN视角看在自然语言处理上的应用 原创 2017年10月24日 00:00:00 1339 作者 | 卞书青 卷积神经网络(Convolutional Neural Network)最早是应用在
- 深度学习FPGA实现基础知识10(Deep Learning(深度学习)卷积神经网络(Convolutional Neural Network,CNN))
- 【深度学习】卷积神经网络(Convolutional Neural Network)
- 卷积神经网络Convolutional Neural Network (CNN)
- Convolutional Neural Network-based Place Recognition 基于卷积神经网络的地点识别算法
- 深度学习FPGA实现基础知识10(Deep Learning(深度学习)卷积神经网络(Convolutional Neural Network,CNN))
- 【深度学习】卷积神经网络(Convolutional Neural Network)
- [机器学习入门] 李宏毅机器学习笔记-11(Convolutional Neural Network;卷积神经网络)
- 深度学习笔记(2)——卷积神经网络(Convolutional Neural Network)
- 卷积神经网络(Convolutional Neural Network)总结