深度学习进阶之第5章 手写数字识别
2018-01-03 20:13
288 查看
人脑识别图像:
【deeplearning是由New network演变而来的】
人脑: 大脑视觉皮层V1, 包含140,000,000神经元; 数百亿个连接, 还有V2,V3,V4,V5
人脑进化几千年
计算机识别图像:
【计算机识别图像: 读到的数据都是数字矩阵】
神经元:
今天去不去踢球?
天气冷吗?
跟我常配合的好友去吗?
是不是晚饭前?
w1 = 2, w2 = 6, w3 = 3, threshold = 5
实际模型更加复杂:

w,x 是向量, b=-threshold
b:多容易输出1,或者大脑多容易触发这个神经元
相当于与非门 (NAND gate):
输入00, (−2)∗0+(−2)∗0+3=3, 输出1
输入11, (−2)∗1+(−2)∗1+3=−1, 输出0
与非门可以模拟任何方程!
Sigmoid 神经元:
8->9
为了模拟更细微的变化,输入和输出数值从0和1,到0,1之间的任何数【0.001,0.09......从01两维变为无数个数,并且变化过程是渐变的】
使用sigmoid function方程的好处:当Z值变化较小的时候,y值变化也比较小,变化过程比较平缓;当z值无限大的时候,y值无限趋近于1.
作为神经网络中的激活函数,其作用就是引入非线性。具体的非线性形式,则有多种选择。
sigmoid的优点在于输出范围有限,所以数据在传递的过程中不容易发散。当然也有相应的缺点,就是饱和的时候梯度太小。
sigmoid还有一个优点是输出范围为(0, 1),所以可以用作输出层,输出表示概率。
另一个优点:求导容易。
【deeplearning是由New network演变而来的】
人脑: 大脑视觉皮层V1, 包含140,000,000神经元; 数百亿个连接, 还有V2,V3,V4,V5
人脑进化几千年
计算机识别图像:
【计算机识别图像: 读到的数据都是数字矩阵】
神经元:
今天去不去踢球?
天气冷吗?
跟我常配合的好友去吗?
是不是晚饭前?
w1 = 2, w2 = 6, w3 = 3, threshold = 5
实际模型更加复杂:

w,x 是向量, b=-threshold
b:多容易输出1,或者大脑多容易触发这个神经元
相当于与非门 (NAND gate):
输入00, (−2)∗0+(−2)∗0+3=3, 输出1
输入11, (−2)∗1+(−2)∗1+3=−1, 输出0
与非门可以模拟任何方程!
Sigmoid 神经元:
8->9
为了模拟更细微的变化,输入和输出数值从0和1,到0,1之间的任何数【0.001,0.09......从01两维变为无数个数,并且变化过程是渐变的】
使用sigmoid function方程的好处:当Z值变化较小的时候,y值变化也比较小,变化过程比较平缓;当z值无限大的时候,y值无限趋近于1.
作为神经网络中的激活函数,其作用就是引入非线性。具体的非线性形式,则有多种选择。
sigmoid的优点在于输出范围有限,所以数据在传递的过程中不容易发散。当然也有相应的缺点,就是饱和的时候梯度太小。
sigmoid还有一个优点是输出范围为(0, 1),所以可以用作输出层,输出表示概率。
另一个优点:求导容易。
相关文章推荐
- 机器学习/深度学习个人进阶日志-基于Tensorflow的手写数字识别项目最终篇
- 机器学习/深度学习个人进阶日志-基于Tensorflow的手写数字识别进阶
- 用MXnet入门实战深度学习之一:安装GPU版mxnet并跑一个MNIST手写数字识别
- 02:一文全解:利用谷歌深度学习框架Tensorflow识别手写数字图片(初学者篇)
- 深度学习--手写数字识别<三>
- 深度学习之tiny-dnn开源代码学习(2)-手写数字识别
- 用MXnet入门实战深度学习之一:安装GPU版mxnet并跑一个MNIST手写数字识别
- 用MXnet实战深度学习之一:安装GPU版mxnet并跑一个MNIST手写数字识别
- Python实现深度学习之-神经网络识别手写数字(更新中,更新日期:2017-07-12)
- 深度学习--手写数字识别<二>--交叉熵损失函数(cross entropy cost function)
- 用MXnet入门实战深度学习之一:安装GPU版mxnet并跑一个MNIST手写数字识别
- 深度学习笔记(四)用Torch实现MNIST手写数字识别
- 深度学习-随机梯度下降算法应用-手写数字识别
- 深度学习-灰度平均值算法和支持向量机算法(SVM)进行手写数字识别
- 【深度学习】笔记2_caffe自带的第一个例子,Mnist手写数字识别代码,过程,网络详解
- 用MXnet实战深度学习之一:安装GPU版mxnet并跑一个MNIST手写数字识别
- 深度学习-Cross-Entropy Cost函数来实现MNIST手写数字识别
- 深度学习引论(四):手写数字识别(Step by step)
- 深度学习- 用Torch实现MNIST手写数字识别
- 深度学习-传统神经网络使用TensorFlow框架实现MNIST手写数字识别