莫烦学习笔记之TensorFlow(Activation function)激励函数
2017-07-17 08:40
225 查看
最近刚刚使用python,同时也是在自学机器学习,看到莫烦TensorFlow篇中关于激励函数的讲解的时候,心里总是有一些疑问,尤其是视频中多次提到,激励函数的作用是把原本是线性的函数“变弯”,那么为什么要把它“变弯”呢?这样做的好处和理由是什么?
后来无意间看到一篇文章,恍然大悟:
上个世纪六十年代,提出了最早的"人造神经元"模型,叫做"感知器"(perceptron),直到今天还在用,如下图
上图的圆圈就代表一个感知器。它接受多个输入(x1,x2,x3...),产生一个输出(output),好比神经末梢感受各种外部环境的变化,最后产生电信号。
为了简化模型,我们约定每种输入只有两种可能:1 或 0。如果所有输入都是1,表示各种条件都成立,输出就是1;如果所有输入都是0,表示条件都不成立,输出就是0。
大概的几何图像就是这样
首先,将感知器的计算结果
然后,计算下面的式子,将结果记为
如果权重和阈值有轻微的变动,结果也还是1或者0,这样的模型明显是不够敏感的,不够准确的,那么如何使得模型变得"敏感"呢?
------变弯
如下图:
原文请点:http://www.ruanyifeng.com/blog/2017/07/neural-network.html
后来无意间看到一篇文章,恍然大悟:
上个世纪六十年代,提出了最早的"人造神经元"模型,叫做"感知器"(perceptron),直到今天还在用,如下图
上图的圆圈就代表一个感知器。它接受多个输入(x1,x2,x3...),产生一个输出(output),好比神经末梢感受各种外部环境的变化,最后产生电信号。
为了简化模型,我们约定每种输入只有两种可能:1 或 0。如果所有输入都是1,表示各种条件都成立,输出就是1;如果所有输入都是0,表示条件都不成立,输出就是0。
大概的几何图像就是这样
首先,将感知器的计算结果
wx + b记为
z。
z = wx + b
然后,计算下面的式子,将结果记为
σ(z)。
σ(z) = 1 / (1 + e^(-z))
如果权重和阈值有轻微的变动,结果也还是1或者0,这样的模型明显是不够敏感的,不够准确的,那么如何使得模型变得"敏感"呢?
------变弯
如下图:
原文请点:http://www.ruanyifeng.com/blog/2017/07/neural-network.html
相关文章推荐
- tensorflow学习笔记之(一)—— 安装和基本使用
- 学习tensorflow笔记——h5py(未完成)
- tensorflow学习笔记之word2vec
- tensorflow学习笔记-卷积,反卷积,空洞卷积
- TensorFlow学习笔记之——些常用基本概念与函数(详细)
- Deep Learning-TensorFlow (12) CNN卷积神经网络_ Network in Network 学习笔记
- #TensorFlow 学习笔记# 01 Start 一个完整的TensorFlow网络结构
- 深度学习笔记 (二) 在TensorFlow上训练一个多层卷积神经网络
- Tensorflow学习笔记1:Get Started
- TensorFlow学习笔记7----Large-scale Linear Models with TensorFlow
- TensorFlow学习笔记:tf.random_normal
- Tensorflow 学习笔记:Input Pipeline - Dataset
- TensorFlow学习笔记3
- 深度学习笔记——深度学习框架TensorFlow(五)[TensorFlow大规模线性模型教程]
- tensorflow学习笔记(1)如何高效地学习TensorFlow(附链接)
- TensorFlow学习笔记(5)----TF生成数据的方法
- tensorflow学习笔记
- TensorFlow基础笔记(13) tf.name_scope tf.variable_scope学习
- TensorFlow学习资料:代码+笔记+教程
- 学习笔记TF049:TensorFlow 模型存储加载、队列线程、加载数据、自定义操作