漫谈机器学习经典算法—人工神经网络

更新：文章迁移到了这里，http://lanbing510.info/2014/11/07/Neural-Network.html，有相应的PPT链接。

注：整理自向世明老师的PPT

看不到图片的同学可以直接打开链接：https://app.yinxiang.com/shard/s31/sh/61392246-7de4-40da-b2fb-ccfd4f087242/259205da4220fae3

内容提要

1 发展历史

2 前馈网络（单层感知器，多层感知器，径向基函数网络RBF）

3 反馈网络（Hopfield网络，联想存储网络，SOM，Boltzman及受限的玻尔兹曼机RBM，DBN，CNN）

发展历史




单层感知器

1 基本模型







2 如果激励函数是线性的话，可用最小二乘直接计算




3 如果激励函数是sifmoid function,可迭代更新（一次性或者逐样本更新）




上式只做了简单的求导展开，很容易推导




多层感知器

1 基本模型







2 举例（含有一个隐含层的多层感知器MLP）

模型：




y=h(v)=h(h(u))

求解：




这里怎么转换到6k(xi)的？

然后分别对两个层的权值求导：




然后更新即可，反向传播（BP）







3 经验




4 优缺点







RBF神经网络

1 模型




2 求解




3 优点和视角







深度学习简介

1 前向神经网络




2 发展历程




3 整体一览




4 一些值得关注

学术




工业




Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥

1 Belief Network




2 Hopfield Network




3 Boltzman机




4 RBM 受限的玻尔兹曼机




RBM

1 模型













利用上图中公式，可以得到




2 求解 CD算法




























DBN

1 模型




2 训练

面向特征提取




面向分类




DBM

模型




CNN

1 模型




2 训练










参考文献