学习笔记3 Supervised Neural Networks
2016-02-04 12:17
148 查看
一、神经网络模型
这是一个全连接的三层神经网络模型,分别为输入层,隐层,输出层。
层与层之间的关系如下:
其中f()为激活函数,一般是sigmoid function, 也有其他的,如tangent,tanh function等。
二、后向算法
代价函数为
其中后面一项为正则项,防止过拟合。
同样的,我们需要使用梯度下降的方法
其中
我们通过一种后向算法来计算残差,进而计算梯度。
我们可以选择一种均方误差的形式来表示代价函数
对于单个训练样本来说,计算梯度的过程如下:
整体的系数更新过程如下:
对于sigmoid函数,其导数可以表示为
以上就是网络的学习过程。
三、加入softmax function
我们的神经网络在多输出的时候,在最后一个隐层与输出层之间的连接可以采用softmax function.
此时的代价函数为
其中
为最后一个隐层的。为了跟上面的式子一致对应,这里的代价函数J 可以在求和式之前加一个系数(1/m);
输出层的残差可以表示为
这就是加入softmax function之后所需要改变的地方。
这是一个全连接的三层神经网络模型,分别为输入层,隐层,输出层。
层与层之间的关系如下:
其中f()为激活函数,一般是sigmoid function, 也有其他的,如tangent,tanh function等。
二、后向算法
代价函数为
其中后面一项为正则项,防止过拟合。
同样的,我们需要使用梯度下降的方法
其中
我们通过一种后向算法来计算残差,进而计算梯度。
我们可以选择一种均方误差的形式来表示代价函数
对于单个训练样本来说,计算梯度的过程如下:
整体的系数更新过程如下:
对于sigmoid函数,其导数可以表示为
以上就是网络的学习过程。
三、加入softmax function
我们的神经网络在多输出的时候,在最后一个隐层与输出层之间的连接可以采用softmax function.
此时的代价函数为
其中
为最后一个隐层的。为了跟上面的式子一致对应,这里的代价函数J 可以在求和式之前加一个系数(1/m);
输出层的残差可以表示为
这就是加入softmax function之后所需要改变的地方。
相关文章推荐
- 微信浏览器自带的返回上一页的停留位置
- 这就是搜索引擎:核心技术详解
- sdk(安卓)
- 移动端前端开发的知识点总结
- i++和++i是否为原子操作
- vim使用教程(转自菜鸟教程)
- ListView下拉刷新,上拉加载
- linux下c语言编程,使用socket发送文件和数据
- [Spring实战系列](9)装配集合
- 线段树为什么要开4倍空间
- Android开发中Activity之间切换出现短暂黑屏的解决方法
- android webview 篇
- bzoj 1069 [SCOI2007]最大土地面积(旋转卡壳)
- angular控制器之间的通信(学习笔记)
- 小说一下case ~
- 脚本定时备份数据库
- Android的启动模式
- HttpStatusCodeResult类型
- JS中找不到控件-已解决
- 关于拖库和撞库的思考与对策