Deep learning:十八(关于随机采样)
2013-05-12 17:23
204 查看
转自 /article/4670367.html
由于最近在看deep learning中的RBMs网络,而RBMs中本身就有各种公式不好理解,再来几个Gibbs采样,就更令人头疼了。所以还是觉得先看下Gibbs采样的理论知识。经过调查发现Gibbs是随机采样中的一种。所以本节也主要是简单层次的理解下随机采用知识。参考的知识是博客随机模拟的基本思想和常用采样方法(sampling),该博文是网上找到的解释得最通俗的。其实学校各种带数学公式的知识时,最好有学者能用通俗易懂的语言介绍,这对入门学者来说极其重要。当然了,还参考了网页http://www.jdl.ac.cn/user/lyqing/StatLearning/StatlLearning_handout.html中的一些资料。
采样是指我们知道一个样本x(大多数情况下是多维的)的概率分布函数,要通过这个函数来产生多个样本点集合。有的人可能会问,这有什么难的,matlaab等工具不是有命令来产生各种分布的样本么?比如说均值分布,正太分布的。对,确实没错,但这些分布样本点的产生也不是很容易的,需要精心设计。如果把函数域中的每个函数都去花精力设计它的样本产生方法,岂不是很费力。所以就出现了随机采样的方法,只要能逼近理论结果值就ok了。当然了,这只是随机采用方法出现的一种原因,纯属个人理解,肯定还有不少其它方面的因素的。
分下面几个部分来介绍常见的随机采样方法:
一、拒绝——接受采样
该方法是用一个我们很容易采样到的分布去模拟需要采样的分布。它要满足一些条件,如下:
其具体的采集过程如下所示:
几何上的解释如下:
由上面的解释可知,其实是在给定一个样本x的情况下,然后又随机选取一个y值,该y值是在轮廓线Mq(x)下随机产生的,如果该y值落在2条曲线之间,则被拒绝,否则就会被接受。这很容易理解,关于其理论的各种推导这里就免了,太枯燥了,哈哈。
二、重要性采样。
我对重要性采样的理解是该方法目的并不是用来产生一个样本的,而是求一个函数的定积分的,只是因为该定积分的求法是通过对另一个叫容易采集分布的随机采用得到的(本人研究比较浅,暂时只能这么理解着)。如下图所示:
三、 Metropolis-Hasting
该方法是用一个建议分布以一定概率来更新样本,有点类似拒绝——接受采样。其过程如下所示:
四、Gibbs采样
Gibss采用是需要知道样本中一个属性在其它所有属性下的条件概率,然后利用这个条件概率来分布产生各个属性的样本值。其过程如下所示:
参考资料:
随机模拟的基本思想和常用采样方法(sampling)
http://www.jdl.ac.cn/user/lyqing/StatLearning/StatlLearning_handout.html
由于最近在看deep learning中的RBMs网络,而RBMs中本身就有各种公式不好理解,再来几个Gibbs采样,就更令人头疼了。所以还是觉得先看下Gibbs采样的理论知识。经过调查发现Gibbs是随机采样中的一种。所以本节也主要是简单层次的理解下随机采用知识。参考的知识是博客随机模拟的基本思想和常用采样方法(sampling),该博文是网上找到的解释得最通俗的。其实学校各种带数学公式的知识时,最好有学者能用通俗易懂的语言介绍,这对入门学者来说极其重要。当然了,还参考了网页http://www.jdl.ac.cn/user/lyqing/StatLearning/StatlLearning_handout.html中的一些资料。
采样是指我们知道一个样本x(大多数情况下是多维的)的概率分布函数,要通过这个函数来产生多个样本点集合。有的人可能会问,这有什么难的,matlaab等工具不是有命令来产生各种分布的样本么?比如说均值分布,正太分布的。对,确实没错,但这些分布样本点的产生也不是很容易的,需要精心设计。如果把函数域中的每个函数都去花精力设计它的样本产生方法,岂不是很费力。所以就出现了随机采样的方法,只要能逼近理论结果值就ok了。当然了,这只是随机采用方法出现的一种原因,纯属个人理解,肯定还有不少其它方面的因素的。
分下面几个部分来介绍常见的随机采样方法:
一、拒绝——接受采样
该方法是用一个我们很容易采样到的分布去模拟需要采样的分布。它要满足一些条件,如下:
其具体的采集过程如下所示:
几何上的解释如下:
由上面的解释可知,其实是在给定一个样本x的情况下,然后又随机选取一个y值,该y值是在轮廓线Mq(x)下随机产生的,如果该y值落在2条曲线之间,则被拒绝,否则就会被接受。这很容易理解,关于其理论的各种推导这里就免了,太枯燥了,哈哈。
二、重要性采样。
我对重要性采样的理解是该方法目的并不是用来产生一个样本的,而是求一个函数的定积分的,只是因为该定积分的求法是通过对另一个叫容易采集分布的随机采用得到的(本人研究比较浅,暂时只能这么理解着)。如下图所示:
三、 Metropolis-Hasting
该方法是用一个建议分布以一定概率来更新样本,有点类似拒绝——接受采样。其过程如下所示:
四、Gibbs采样
Gibss采用是需要知道样本中一个属性在其它所有属性下的条件概率,然后利用这个条件概率来分布产生各个属性的样本值。其过程如下所示:
参考资料:
随机模拟的基本思想和常用采样方法(sampling)
http://www.jdl.ac.cn/user/lyqing/StatLearning/StatlLearning_handout.html
相关文章推荐
- Deep learning:十八(关于随机采样)
- Deep learning:十八(关于随机采样)
- Deep learning:十八(关于随机采样)
- Deep learning:十八(关于随机采样
- 关于乱序(shuffle)与随机采样(sample)的一点探究
- 关于Deep learning 中AlexNet工具箱安装问题
- 关于量价十八则的口诀
- Deep learning:二十七(Sparse coding中关于矩阵的范数求导)
- 关于大型网站技术演进的思考(十八)--网站静态化处理—反向代理(10)
- 关于深度学习(deep learning)的常见疑问 --- 谷歌大脑科学家 Caffe缔造者 贾扬清
- Deep Learning 读书笔记(四):关于卷积神经网络的各种
- Deep Learning 读书笔记(七):关于CNN的实际例子
- Deep learning:二十(无监督特征学习中关于单层网络的分析)
- React Native 学习笔记十八(关于样式 补充)
- Deep Learning 读书笔记(二):关于限制玻尔兹曼机的各种
- Deep Learning关于Vision的Reading List
- 关于大型网站技术演进的思考(十八)--网站静态化处理—反向代理(10)
- Deep Learning关于Vision的Reading List
- 关于大型网站技术演进的思考(十八)--网站静态化处理—反向代理(10)
- Deep learning:二十(无监督特征学习中关于单层网络的分析)