一张图理解训练的BP反向传播
2017-08-05 15:56
211 查看
经过同学许可,借用他的图来讲讲深度学习的反向传播,不涉及具体推导,宏观把握原理。
深度学习训练过程是训练模型的过程,实质上不过是权值更新的过程(不知理解对不对),即图上公式从W(old)到W(new)的过程,当然这里是循环往复、迭代进行。
h(x)是旧的权值参数和特征向量的内积,是实数。再经过激活函数例如sigmoid函数归一化带到网络的预值f(x),最后测计算损失函数J,公式里y是标签值,你懂得,预测值与标签值求距离越小代表预测越准,这个J实际就是loss,最下面是权值更新公式,a对应是深度学习的学习率,这样得到w(new)带入h(x)
进行前向传播。
循环进行,直到J最小,此时的w即是模型里的参数值。
希望讲的够简单明了。
相关文章推荐
- BackPropagation(BP, 误差反向传播)的一些理解
- 【深入理解反向传播BP】Calculus on Computational Graphs: Backpropagation
- [NN] 对于BackPropagation(BP, 误差反向传播)的一些理解
- 分享好文章 一文看懂BP网络反向传播(转载)
- Caffe中的反向传播代码理解
- 神经网络及反向传播(bp)算法详解
- BP 反向传播
- 使用反向传播训练神经网络
- CS231n课程笔记4.1:反向传播BP
- CNN卷积神经网络--反向传播(4,代码理解)
- 基于反向传播的多层神经网络训练原理(翻译)
- 机器学习:一步步教你理解反向传播方法
- 对BP神经网络的正向传播与反向传播的理解
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 理解神经网络中的反向传播法
- 神经网络学习(四)反向(BP)传播算法(2)-Matlab实现
- CNN的反向传播推导与理解
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 初学者——从NN到RNN,深刻理解以softmax为激活函数的反向传播,有代码
- [置顶] 基于DL的计算机视觉(5)--理解反向传播