您的位置：首页 > 其它

极大似然估计法推出朴素贝叶斯法中的先验概率估计公式（转载）

2018-01-28 16:32 253 查看

令参数
$P(Y=c_k)=\theta_k$
，其中
$k\in \left\{ 1,2..K \right\}$
。

那么随机变量Y的概率可以用参数来表示为一个紧凑的形式
$P(Y)=\sum_{k=1}^{K}{\theta_k} I(Y=c_k)$
，I是指示函数
$Y=c_k$
成立时，I=1；否则I=0。

极大似然函数
$L(\theta_k;y_1,y_2..y_N)=\prod_{i=1}^{N}P(y_i) =\prod_{k=1}^{K}\theta_k^{N_k}$
，其中N为样本总数，
$N_k$
为样本中
$Y=c_k$
的样本数目，取对数得到
$l(\theta_k)=ln(L(\theta))=\sum_{k=1}^{K}{N_k ln\theta_k}$
，

要求该函数的最大值，注意到约束条件
$\sum_{k=1}^{K}{\theta_k} =1$
可以用拉格朗日乘子法，即
$l(\theta_k,\lambda)=\sum_{k=1}^{K}{N_k ln\theta_k} +\lambda(\sum_{k=1}^{K}{\theta_k} -1)$
，求导就可以得到：
$\frac{N_k}{\theta_k}+\lambda=0$
联立所有的k以及约束条件得到
$\theta_k=\frac{N_k}{N}$
，完毕

作者：Fisher

链接：https://www.zhihu.com/question/33959624/answer/93958363

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航