为什么说BP神经网络就是人工神经网络的一种?
2017-08-30 13:36
295 查看
BP( Back Propagation)网络是由Rinehart等于1986年提出的,是一种按误差逆传播算法训练的,多层前馈网络,是目前应用最广泛的神经网络模型之一。
–BP网络能学习和存储大量的输入、输出模式映射关系,而无须事前揭示描述这种映射关系的数学方程。
–其学习规则是使用梯度下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。
BP神经网络模型拓扑结构包括:
输入层(Input),这一区域相当于外界的刺激,是刺激的来源并且将刺激传递给神经元。
隐藏层( Hide layer),这一区域表示神经元相互之间传递刺激,相当于人脑里面。
输出层(Output layer),这一区域表示神经元经过多层次相互传递后,对外界的反应。
BP反馈机制
简单的描述就是,输入层将刺激传递给隐藏层,隐藏层通过神经元之间,联系的权重和激活函数,将刺激传到输出层,输出层整理隐藏层处理后的刺激,产生最终结果。
若有正确的结果,那么将正确的结果和产生的结果进行比较,得到误差,再逆推对神经网中的链接权重进行反馈修正,从而来完成学习的过程。
这就是BP (Back Propagation)神经网的反馈机制,也是名字的来源,即运用向后反馈的学习机制,来修正神经网中的权重,最终达到输出正确结果的目的。
双向信号传播
BP算法由数据流的前向(正向)传播和误差信号的反向传播两个过程构成。
–正向传播时,传播方向为输入层-隐层-输出层,每层神经元的状态只影响下一层神经元。
–若在输出层得不到期望的输出,则转向误差信号的反向传播流程。
这两个过程的交替进行
–在权向量空间,执行误差函数梯度下降策略,动态迭代搜索一组权向量。
–使网络误差函数达到最小值,从而完成信息提取,和记忆过程。
正向传播
设BP神经网络的输入层有n个节点,隐层有q个节点,输出层有m个节点,输入层与隐层之间有权值为vki,隐层与输出层之间的权值为wjk,三层神经网络的拓扑结构,如下图所示。
隐层传递函数为ƒ1(•),输出层的传递函数为ƒ2(•),则隐层节点的输出为(将阈值写入求和项中,k=1,2,…q)
•输出层节点的输出为(j=l,2,…,m):
•至此BP网络完成n维空间向量对m维空间的近似映射
反向传播
反向传播,目的是传递误差信号
–所以要进行定义误差函数、输出层权值变化、以及隐层权值变化等操作。
–以上作用可分别以数据公式表达出来:
–式中x1,x2,…,xq为输入信号,wj1,wj2,…,wji,…,wjn为神经元k之权值,uk为线性组合结果,θk为阈值,f (•)为激活函数,yk为神经元k的输出。
–若把输入的维数增加一维,则可把阈值θk包括进去。
–BP网络能学习和存储大量的输入、输出模式映射关系,而无须事前揭示描述这种映射关系的数学方程。
–其学习规则是使用梯度下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。
BP神经网络模型拓扑结构包括:
输入层(Input),这一区域相当于外界的刺激,是刺激的来源并且将刺激传递给神经元。
隐藏层( Hide layer),这一区域表示神经元相互之间传递刺激,相当于人脑里面。
输出层(Output layer),这一区域表示神经元经过多层次相互传递后,对外界的反应。
BP反馈机制
简单的描述就是,输入层将刺激传递给隐藏层,隐藏层通过神经元之间,联系的权重和激活函数,将刺激传到输出层,输出层整理隐藏层处理后的刺激,产生最终结果。
若有正确的结果,那么将正确的结果和产生的结果进行比较,得到误差,再逆推对神经网中的链接权重进行反馈修正,从而来完成学习的过程。
这就是BP (Back Propagation)神经网的反馈机制,也是名字的来源,即运用向后反馈的学习机制,来修正神经网中的权重,最终达到输出正确结果的目的。
双向信号传播
BP算法由数据流的前向(正向)传播和误差信号的反向传播两个过程构成。
–正向传播时,传播方向为输入层-隐层-输出层,每层神经元的状态只影响下一层神经元。
–若在输出层得不到期望的输出,则转向误差信号的反向传播流程。
这两个过程的交替进行
–在权向量空间,执行误差函数梯度下降策略,动态迭代搜索一组权向量。
–使网络误差函数达到最小值,从而完成信息提取,和记忆过程。
正向传播
设BP神经网络的输入层有n个节点,隐层有q个节点,输出层有m个节点,输入层与隐层之间有权值为vki,隐层与输出层之间的权值为wjk,三层神经网络的拓扑结构,如下图所示。
隐层传递函数为ƒ1(•),输出层的传递函数为ƒ2(•),则隐层节点的输出为(将阈值写入求和项中,k=1,2,…q)
•输出层节点的输出为(j=l,2,…,m):
•至此BP网络完成n维空间向量对m维空间的近似映射
反向传播
反向传播,目的是传递误差信号
–所以要进行定义误差函数、输出层权值变化、以及隐层权值变化等操作。
–以上作用可分别以数据公式表达出来:
–式中x1,x2,…,xq为输入信号,wj1,wj2,…,wji,…,wjn为神经元k之权值,uk为线性组合结果,θk为阈值,f (•)为激活函数,yk为神经元k的输出。
–若把输入的维数增加一维,则可把阈值θk包括进去。
相关文章推荐
- 为什么说BP神经网络就是人工神经网络的一种?
- (转)当别人努力的时候,你在做什么? 评论事情的一种态度 当你在抱怨的时候,为什么不想想我做了什么? 把简单的原则坚持贯彻下去 消极的心态,养成了惯性的思维,一切都是不好的。 也许这就是人性的弱点,不经意的习惯,却逐渐腐蚀了你的人生。
- (转)失败和拒绝,也是一种肯定 找工作时,我四处碰壁这一段经历对自己职业生涯的帮助最大。为什么? "因为这些挫折让我的脸皮变厚了 如果你不是每天被人拒绝,那就说明你的人生目标不够远大 所谓成功,就是不停地经历失败,并且始终保持热情
- 为什么我说ORM是一种反模式
- 为什么用接口存常量是一种不良的习惯
- 活着就是一种状态而已
- 优秀规范的代码本身就是一种注释
- 一切成功源于积累——20140405 为什么就是不能再等等 每次都会被杀200点以上
- 爱过就是一种幸福
- 博客就是一种妓院文化
- 玩《刀塔传奇》,玩的就是一种策略
- 其实servlet就是一种mvc设计思想的一种实现
- 简单的推荐系统(线性分类器的一种)(就是所说的打分系统)
- 技术不如你,但老板就是赏识他,为什么?
- 为什么静下心来阅读会是一种奢侈?
- 为什么要重写toString方法 这个很好理解了 就是为了方便查看 示例如下()
- Linux网络编程 套接字 一:概述 Socket 的英文原意就是“孔”或“插座”,现在,作为BSD UNIX 的进程通讯机制,取其后一种意义。日常生活中常见的插座,有的是信号插座,有的是电源插座,有的可以接受信号(或能量),有的可以发
- 抛弃 反射得到属性的名称,为何不可以?为什么微软就是不去实现!!!
- 不能走到一起就是一种美好的遗憾
- 为什么“电路中容抗和阻抗相等时,也就是谐振时,电路呈阻性?”谢谢