神经网络与深度学习 笔记1 感知机 S型神经元
2017-07-21 09:16
573 查看
1.感知器
一个感知器接受几个二进制输入,x 1 , x 2 , . . .,并产生一个二进制输出:
示例中的感知器有三个输入,x 1 , x 2 , x 3,引入权重,w 1 , w 2 , . . .,表示相应输入对于输出重要性的实数。神经元的输出,0 或者 1,则由分配权重后的总和∑jwjxj
is小于或者大于一些阈值决定
4000
第一个变动是把∑jwjxj
写成点乘
w⋅x≡∑jwjxj,第二个变动是把阈值移到不等式的另一边,并用感知器的偏置
b ≡ −threshold 代替。
用偏置而不是阈值,那么感知器的规则可以重写为:
output={01if w⋅x+b≤0if w⋅x+b>0
我们可以把偏置看作一种表示让感知器输出 1(即激活感知器)有多容易的估算。
2. S型神经元(逻辑神经元)
S 型神经元对每个输入有权重,w 1 , w 2 , . . .,和一个总的偏置,b。但是输出不是 0 或 1。相反,它现在是 σ(w · x + b), 这里 σ 被称为 S 型函数 (逻辑函数) ,定义为:
σ(z)≡11+e−z.
把它们放在一起来更清楚地说明,一个具有输入 x 1 , x 2 , . . .,权重 w 1 , w 2 , . . .,和偏置 b 的 S型神经元的输出是:
11+exp(−∑jwjxj−b).
很明显,感知器和 S 型神经元之间一个很大的不同是 S 型神经元不仅仅输出 0 或 1。它可以输出 0 和 1 之间的任何实数,所以诸如 0.173 . . . 和0.689 . . . 的值是合理的输出。
一个感知器接受几个二进制输入,x 1 , x 2 , . . .,并产生一个二进制输出:
示例中的感知器有三个输入,x 1 , x 2 , x 3,引入权重,w 1 , w 2 , . . .,表示相应输入对于输出重要性的实数。神经元的输出,0 或者 1,则由分配权重后的总和∑jwjxj
is小于或者大于一些阈值决定
4000
第一个变动是把∑jwjxj
写成点乘
w⋅x≡∑jwjxj,第二个变动是把阈值移到不等式的另一边,并用感知器的偏置
b ≡ −threshold 代替。
用偏置而不是阈值,那么感知器的规则可以重写为:
output={01if w⋅x+b≤0if w⋅x+b>0
我们可以把偏置看作一种表示让感知器输出 1(即激活感知器)有多容易的估算。
2. S型神经元(逻辑神经元)
S 型神经元对每个输入有权重,w 1 , w 2 , . . .,和一个总的偏置,b。但是输出不是 0 或 1。相反,它现在是 σ(w · x + b), 这里 σ 被称为 S 型函数 (逻辑函数) ,定义为:
σ(z)≡11+e−z.
把它们放在一起来更清楚地说明,一个具有输入 x 1 , x 2 , . . .,权重 w 1 , w 2 , . . .,和偏置 b 的 S型神经元的输出是:
11+exp(−∑jwjxj−b).
很明显,感知器和 S 型神经元之间一个很大的不同是 S 型神经元不仅仅输出 0 或 1。它可以输出 0 和 1 之间的任何实数,所以诸如 0.173 . . . 和0.689 . . . 的值是合理的输出。
相关文章推荐
- 深度学习笔记二:多层感知机(MLP)与神经网络结构
- 神经网络与深度学习 1.2 S型神经元
- 深度学习笔记:稀疏自编码器(1)——神经元与神经网络
- TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络
- 深度学习笔记四循环神经网络RNN
- 吴恩达神经网络和深度学习课程自学笔记(六)之优化算法
- 吴恩达深度学习入门学习笔记之神经网络和深度学习(第一周)
- 学习笔记:Deep Learning(二)深度神经网络以及正则化
- 王小草【深度学习】笔记第三弹--神经网络细节与训练注意点
- 吴恩达深度学习笔记一:神经网络和深度学习
- 深度学习笔记6:神经网络优化算法之从SGD到Adam
- 深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数
- July深度学习笔记之神经网络与反向传播算法
- 学习Andrew Ng的神经网络和深度学习课程的笔记part one(二)
- 神经网络六:深度学习斯坦福cs231n 课程笔记
- [DeeplearningAI笔记]神经网络与深度学习人工智能行业大师访谈
- 深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数
- 吴恩达深度学习课程笔记 1.3用神经网络进行有监督学习
- 深度学习-基础概念:神经元(Neurons)、Sigmoid 函数与神经网络基本结构
- [DeeplearningAI笔记]改善深层神经网络1.4_1.8深度学习实用层面_正则化Regularization与改善过拟合