神经网络的理解(MLP RBF RBM DBN DBM CNN 整理学习)
2017-03-28 16:59
1171 查看
原文 http://lanbing510.info/2014/11/07/Neural-Network.html
开篇语
文章整理自向世明老师的PPT,围绕神经网络发展历史,前馈网络(单层感知器,多层感知器,径向基函数网络RBF),反馈网络(Hopfield网络,联想存储网络,SOM,Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)三部分进行讲述,给人一个神经网络的整体认识。发展历史
单层感知器
基本模型如下
训练
如果激励函数是线性的话,可用最小二乘直接计算:如果激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新):
上式只做了简单的求导展开,很容易推导:
多层感知器
基本模型如下
举例(含有一个隐含层的多层感知器MLP)
模式:y=h(v)=h(h(u))y=h(v)=h(h(u))
求解:
然后分别对两个层的权值求导:
然后更新即可,反向传播(BP)
经验
优缺点
RBF神经网络
模型
求解
优点和视角
深度学习简介
前向神经网络
发展历程
整体一览
一些值得关注
学术工业
Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥
Belief Network
Hopfield Network
Boltzman机
RBM 受限的玻尔兹曼机
RBM
模型
利用上图中公式,可以得到
求解 CD算法
DBN
模型
训练
面向特征提取面向分类
DBM
模型
CNN
模型
训练
参考文献
相关文章推荐
- [深度学习]神经网络的理解(MLP RBF RBM DBN DBM CNN 整理学习)
- 深度学习资料整理(深度神经网络理解)
- 个人对sparse在神经网络学习中的一些理解
- 深度学习中对神经网络的理解
- 系统学习机器学习之神经网络(二) --MLP实现及源码分析
- 对比学习用 Keras 搭建 CNN RNN 等常用神经网络
- 【神经网络与深度学习】【计算机视觉】RCNN- 将CNN引入目标检测的开山之作
- RBF神经网络学习算法及与多层感知器的比较
- 深度学习笔记1:神经网络理解
- 深度学习笔记二:多层感知机(MLP)与神经网络结构
- RBF神经网络的学习算法
- 深度学习之理解神经网络的四个公式
- RBM(受限波尔兹曼机)和 DBN(深信度神经网络)
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
- 深度学习:径向基函数(RBF)神经网络
- Deep Learning 系列(1):RBM(受限波尔兹曼机)和 DBN(深信度神经网络)
- 深度学习与自然语言处理之四:卷积神经网络模型(CNN)
- 深度学习与自然语言处理之四:卷积神经网络模型(CNN)
- 深度学习与自然语言处理之四:卷积神经网络模型(CNN)
- 【神经网络与深度学习】【计算机视觉】Fast R-CNN