BP神经网络
2016-05-26 12:07
274 查看
深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。
第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用的符号有太多的小标,上标,给初学者带来不便。
![](https://img-blog.csdn.net/20130523182809865)
![](https://img-blog.csdn.net/20130523182653867)
请特别注意上面这个图的一些符号说明如下:
![](https://img-blog.csdn.net/20130523172508914)
![](https://img-blog.csdn.net/20130523144229682)
请特别注意上述公式中的下标,这里,权值矩阵包含了神经元节点本身的偏置,所以权值矩阵多了一列。
2. 误差反向传导过程
![](https://img-blog.csdn.net/20130523154531698)
![](https://img-blog.csdn.net/20130523154629262)
![](https://img-blog.csdn.net/20130523165459616)
![](https://img-blog.csdn.net/20130523165506265)
![](https://img-blog.csdn.net/20130523165513017)
![](https://img-blog.csdn.net/20130523165518704)
![](https://img-blog.csdn.net/20130523165527653)
信号的前向传递和误差反向传递过程都可以用递归公式描述。其实,就几个公式而已,把相关的几个重要公式再次总结如下:
![](https://img-blog.csdn.net/20130523165534698)
![](https://img-blog.csdn.net/20130523165545711)
转自:http://blog.csdn.net/celerychen2009/article/details/8964753
第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用的符号有太多的小标,上标,给初学者带来不便。
一. 网络结构
经典的BP网络,其具体结构如下:请特别注意上面这个图的一些符号说明如下:
二. 学习算法
1. 信号的前向传递过程请特别注意上述公式中的下标,这里,权值矩阵包含了神经元节点本身的偏置,所以权值矩阵多了一列。
2. 误差反向传导过程
三. 小结
信号的前向传递和误差反向传递过程都可以用递归公式描述。其实,就几个公式而已,把相关的几个重要公式再次总结如下:
转自:http://blog.csdn.net/celerychen2009/article/details/8964753
相关文章推荐
- C/C++ 网络库介绍
- Alamofire网络库基础教程:使用 Alamofire 轻松实现 Swift 网络请求
- HttpClient 传输xml字符串
- Ajax 对象创建 兼容各个浏览器 通用方法getHTTPObject.js
- springboot集成httpinvoker的客户端
- 使用ManagedWifi连接无线网络
- golang 实现tcp转发代理
- CentOS7 DHCP网络配置
- 【iOS】MD5加密与网络数据安全
- HTTP协议详解
- Windows在dos命令添加静态路由
- 对于TCP沾包解包的困惑找的资料
- HttpServletRequest 转换成MultipartHttpServletRequest
- Java-NIO-系列教程 [http://download.csdn.net/download/shenhonglei1234/9531642]
- TCP/IP
- Volley简单封装--笔记
- 解决方法:android 6.0(api 23) SDK,不再提供org.apache.http.*(只保留几个类)
- 域名更换为https遇到的问题
- 外部程序调用跨数据库的语句时:该事务管理器已经禁止了它对远程/网络事务的支持
- httpd 中常见的状态码