机器学习：LDA_数学基础_1：贝叶斯数学_基础

参数估计的方法

矩估计

最大似然估计

最小二乘法

贝叶斯估计

贝叶斯观点

贝叶斯公式

全概率公式: B1,.....,Bn是样本空间的一个完备事件群

p(A)=p(∑ni=1ABi)=∑ni=1p(A|Bi)p(Bi)

2.贝叶斯公式

p(Bi|A)=p(A|Bi)p(Bi)p(A)=p(A|Bi)p(Bi)∑nj=1p(A|Bj)P(Bj)

频率学派：将样本视为来着一定概率分布的总体，所研究的对象是总体分布，而不是样本(发现了最小二乘和正态分布)

贝叶斯学派：

先验信息：在抽样之前，关于统计推断问题中参数的先验知识（ 先验来着经验和历史）

是否使用先验知识，是贝叶斯学派的特点

重视已经出现的样本，对于未出现样本不考虑

重点是如何确定先验分布

核心分歧：将参数 θ 看做固定参数还是随机变量

### 先验分布和后验分布

* π(θ)是θ的先验分布

π(θ)是随机变量θ的概率函数

(θ是离散变量时π(θi)是事件θ=θi的概率分布；θ是连续变量的时候，π(θ)是θ的密度函数)

π(θ)在获取样本后，发生变化；

π(θ|x)是给定x时随机变量θ的概率函数

后验分布

获取样本x后，θ的后验分布就是X=x条件下θ的条件分布，π(θ|x)

π(θ|x)=h(θ)m(x)=f(x|θ)π(θ)∫Θf(x|θ)π(θ)dθ

h(x,θ)是联合分布

f(x|θ)是概率密度函数

π(θi|x)=f(x|θi)π(θi)∑if(x|θi)π(θi)

f(x|θi)是事件X=x|θi的概率P(X=x|θi)

获得后验概率后可以使用后验均值作为θ的估计

θ^B=E(θ|x)=∫Θθπ(θ|x)dθ

=∫Θθf(x|θ)π(θ)dθm(x)

例子(Beta分布)

设随机变量X服从二项分布B(n,θ), θ的先验分布是(0,1)上的均匀分布U(0,1),求θ的贝叶斯点估计

解：

X的概率密度和θ的先验密度是

f(x|θ)=(nx)θx(1−θ)n−x

π(θ)=1 (0<θ<1)

X和θ的联合分布

h(x,θ)=(nx)θx(1−θ)n−x

X的边缘分布

m(x)=∫10h(x,θ)dθ=1n+1

=>

θ的后验概率是

π(θ|x)=h(x,θ)m(x)=...

(Beta 分布)

=>

θ^B=E(θ|x)=x+1n+2

其中MLE下的估计是

θ^=Xn

Beta分布，Gamma分布

Beta函数和Gamma函数

B(a,b)=Γ(A)Γ(B)Γ(a+b)