机器学习概念：最大后验概率估计与最大似然估计 （Maximum posterior probability and maximum likelihood estimation)

joey 周琦

假设有参数θ\theta, 观测x\mathbf{x}, 设f(x|θ)f(x|\theta)是变量xx的采样分布，θ\theta是其中的参数。那么θ\theta的最大似然估计可以表示为：

θ̂ ML(x)=argmaxθf(x|θ) \hat \theta_{ML}(x) = \arg \max \limits_{\theta} f(x|\theta)

而贝叶斯理论，假设θ\theta不是一个确定的值，而是服从某一先验分布gg, 那么θ\theta的后验分布：

f(θ|x)∝f(x|θ)g(θ) f(\theta|x) \propto f(x|\theta)g(\theta)

所以

θ̂ MAP(x)=argmaxθf(x|θ)g(θ) \hat \theta_{MAP}(x) = \arg \max \limits_{\theta} f(x|\theta)g(\theta)

MAP在机器学习中也可以被理解为MLE+正则化，正则化的参数与先验分布相关