机器学习基础(2) 概率论基础

机器学习基础(2) 概率论基础

概率密度函数

贝叶斯决策理论

*注意：以下小写p表示概率密度函数，大写的P表示概率。

引入随机变量后，以下是在二元的概率分布中对各钟概率的定义

条件概率（conditional probability）：表示在另外一个随机满足某个条件时，一个随机变量满足某一条件的概率。条件概率记作 P(X=xi|Y=yi)。

联合概率（conditional probability）：表示两个个随机变量分别满足各自条件的概率。联合概率记作 P(X=xi,Y=yi)。

边缘概率（marginal mrobability ）：表示在一个随机变量满足某一条件的概率，与其他变量无关。边缘概率记作P(X=xi)

贝叶斯定理（Bayes’ theorem）： 后验概率 = (相似度*先验概率)/标准化常量。

也就是说，后验概率与先验概率和相似度的乘积成正比。

P(Y=yi|X=xi)=P(X=xi|Y=yi)P(Y=yi)P(X=xi)=P(X=xi|Y=yi)P(Y=yi)∑jP(X=xi|Y=yj)P(Y=yj)

例1： 手写识别，对输入的字母进行识别分类（a或b）。

先验概率（prior probability）：是指根据以往经验和分析得到的概率。例如：类别k的概率记作 p(Ck).

似然函数（likelihood）：用来描述已知随机变量输出结果时，未知参数的可能取值。例如：已知类别为k的情况下，数据的测量值为x的概率记作 p(x|Ck).

后验概率（posterior probability ）：是指在得到“结果”的信息后重新修正的概率。例如：已知测量值为x的情况下，预测类别为k的概率记作 p(Ck|x)