神经网络基础和感知器
2013-01-05 18:30
141 查看
神经元的变换函数
从净输入到输出的变换函数称为神经元的变换函数,即阈值型变换函数
比如符号函数
非线性变换函数
比如单极性Sigmoid函数
又比如双极性S型(又曲正切)函数
分段性变换函数
比如
概率型变换函数
这时输入与输出之间的关系是不确定的,需要用一个随机函数来描述输出状态为1或为0的概率。设输出为1的概率为
T为温度参数,这种神经元模型也称为热力学模型。
学习规则
改变权值的规则称为学习规则或学习算法。学习规则 | 权值调整 | 权值初始化 | 学习方式 | 变换函数 | |
向量式 | 元素式 | ||||
Hebbian | 0附近的小随机数 | 无导师 | 任意 | ||
离散Percrptron | 任意 | 有导师 | 二进制 | ||
连续感知器δ规则 | 任意 | 有导师 | 连续 | ||
最小均方LMS(Widrow-Hoff规则) | 任意 | 有导师 | 任意 | ||
相关Correlation | 0 | 有导师 | 任意 | ||
胜者为王 Winner-take-all | 随机,归一化 | 无导师 | 连续 | ||
外星Outstar | 0 | 有导师 | 连续 |
η是学习率。
在离散感知器学习规则中,期望输出dj和实际输出sgn(WjTX)取值都是-1和1。这种感知器仅适合于二进制神经元。
连续感知器δ规则要求变换函数是可导的,因此只能用于有导师学习中定义的连续变换函数,如Sigmoid函数。实际上δ规则是由输出与期望的最小平方误差推导出来的。
最小均方学习规则实际上是δ规则的特例--在δ规则中令
。最小均方学习规则与变换函数无关,不需要对变换函数求导,不仅学习速度快,而且具有较高的精度。它能使实际输出与期望输出之间的平均方差最小(什么意思?why?)。
胜者为王规则中有一个竞争层,对于特定的输入,竞争层的每个神经元均有输出响应,其中响应最大的神经元j*成为获胜神经元,只有获胜神经元才有权调整其权值向量。学习率应该随着学习的进展而减小。
外星学习规则使权向量向期望输出靠拢。
单层感知器
单层感知器只有输入层和输出层,它仅对线性可分问题具有分类能力,在实际中很少使用。多层感知器
隐藏层的加入使感知器能够解决非线性的分类问题,并且双隐藏层感知器足以解决任何复杂的分类问题。当变换函数从线性函数变为非线性函数时,分类边界的基本元素从直线变为曲线,这样整个分类边界线变成连续光滑的曲线,从而提高感知器的分类能力。
对于各隐藏层节点来说,不存在期望输出,因而学习规则对隐藏层权值不适用。
自适应线性单元(Adaptive Linear Neuron)
使用最小均方学习规则LMS(Least Mean Square),即最小二乘法。相关文章推荐
- [Mechine Learning & Algorithm] 神经网络基础
- MATLAB 神经网络基础(3)
- Tensorflow基础:神经网络优化算法
- 神经网络基础—浅层神经网络
- 机器学习基础知识-神经网络与深度学习学习笔记(二)
- 《神经网络和深度学习》之神经网络基础(第二周)课后作业——一个隐藏层的平面数据分类
- DL_1_week2_神经网络基础
- 吴恩达《深度学习工程师》Part1.Week2 神经网络基础
- 神经网络基础概念
- Andrew Ng's deeplearning Course1Week2 Neural Networks Basics(神经网络基础)
- 详解神经网络算法所需最基础数据结构Tensor及其相关操作
- [Mechine Learning & Algorithm] 神经网络基础
- python实现神经网络感知器算法
- 神经网络基础
- 【摘要与笔记1】-单层感知器,两层神经网络与深度学习
- 2.1神经网络基础-二分分类
- 神经网络和深度学习-第二周神经网络基础-第三节:Logistic 回归损失函数
- 吴恩达深度学习入门学习笔记之神经网络和深度学习(第二周:神经网络基础)
- 吴恩达《深度学习-神经网络和深度学习》2--神经网络基础
- 感知器和神经网络