BP神经网络算法推导
2016-09-07 22:14
204 查看
1、前馈神经网络、反馈神经网络、BP网络等,他们之间的关系
前馈型神经网络:
取连续或离散变量,一般不考虑输出与输入在时间上的滞后效应,只表达输出与输入的映射关系;在此种神经网络中,各神经元从输入层开始,接收前一级输入,并输入到下一级,直至输出层。整个网络中无反馈,可用一个有向无环图表示。常见的前馈神经网络有感知机(Perceptrons)、BP(Back Propagation)网络、RBF(Radial Basis Function)网络等。
BP网络:
BP网络是指连接权调整采用了反向传播(Back Propagation)学习算法的前馈网络。与感知器不同之处在于,BP网络的神经元变换函数采用了S形函数(Sigmoid函数),因此输出量是0~1之间的连续量,可实现从输入到输出的任意的非线性映射。
由上可知BP网络是通过BP算法来修正误差的前馈神经网络
反馈型神经网络:
取连续或离散变量,考虑输出与输入之间在时间上的延迟,需要用动态方程来描述系统的模型。
前馈型神经网络的学习主要采用误差修正法(如BP算法),计算过程一般比较慢,收敛速度也比较慢;
而反馈型神经网络主要采用Hebb学习规则,一般情况下计算的收敛速度很快。
神经网络分类:
参考:http://www.cnblogs.com/wengzilin/archive/2013/04/24/3041019.html
前馈型神经网络:
取连续或离散变量,一般不考虑输出与输入在时间上的滞后效应,只表达输出与输入的映射关系;在此种神经网络中,各神经元从输入层开始,接收前一级输入,并输入到下一级,直至输出层。整个网络中无反馈,可用一个有向无环图表示。常见的前馈神经网络有感知机(Perceptrons)、BP(Back Propagation)网络、RBF(Radial Basis Function)网络等。
BP网络:
BP网络是指连接权调整采用了反向传播(Back Propagation)学习算法的前馈网络。与感知器不同之处在于,BP网络的神经元变换函数采用了S形函数(Sigmoid函数),因此输出量是0~1之间的连续量,可实现从输入到输出的任意的非线性映射。
由上可知BP网络是通过BP算法来修正误差的前馈神经网络
反馈型神经网络:
取连续或离散变量,考虑输出与输入之间在时间上的延迟,需要用动态方程来描述系统的模型。
前馈型神经网络的学习主要采用误差修正法(如BP算法),计算过程一般比较慢,收敛速度也比较慢;
而反馈型神经网络主要采用Hebb学习规则,一般情况下计算的收敛速度很快。
神经网络分类:
参考:http://www.cnblogs.com/wengzilin/archive/2013/04/24/3041019.html
相关文章推荐
- bp神经网络及matlab实现
- 如何用70行代码实现深度神经网络算法
- 基于神经网络的预测模型
- 详细解读神经网络十大误解,再也不会弄错它的事情原理
- 神经网络初步学习手记
- neuron 分布式连接容器
- 看 云计算机的芯片开发过程:helloword 入门
- 致业内的一封信
- RBF的一点个人理解
- 利用自收敛深度人工神经网络构建(DNN)构建多语种大词汇量连续语音识别系统
- UFLDL Exercise: Convolutional Neural Network
- 神经网络凸优化
- 基于遗传算法(GA)的神经网络训练算法
- 机器学习笔记:神经网络
- 神经网络 caffe 的 vs2013 版本代码
- 传统BP神经网络完整例子(电力负荷预测)
- Matlab 神经网络工具箱
- Google最新人工智能算法RankBrain的实现--写在后面的话
- 备份:创建VS工程使用神经网络库——FANN
- 卷积神经网络知识要点