贝叶斯决策

想要了解贝叶斯决策，首先要知道概率论中的贝叶斯公式：

P(wi|x)=p(x,wi)p(x)=p(x|wi)P(wi)p(x),i=1,2,...

假设现在有一枚硬币，需要你在没有看到这枚硬币的情况下判断这枚硬币的面值，是一角？五角？还是一元？这其实就是个决策问题。

现在假设在没有对硬币进行任何观测情况下各面值的概率分别为：是一角的概率为P(w1)，是五角的概率为P(w2)，是一元的概率为P(w3)。这种对样本没有进行任何观测情况下的概率P(wi)就叫做先验概率。

假设我们可以给硬币称重量，在已知这枚硬币重量为x的情况下硬币为各面值的概率分别为：p(w1|x),p(w2|x),p(w3|x)，这种概率叫做后验概率。

在贝叶斯公式中，P(wi)是先验概率；p(x,w)是x与wi的联合概率分布；p(x)是三类所有硬币重量的概率密度，即总体密度；p(x|wi)是第i类硬币重量的概率密度，即类条件密度。这样，后验概率就转换成了先验概率与类条件密度的乘积再用总体密度进行归一化。

在类条件概率密度和先验概率已知或者可以估计的情况下，通过贝叶斯公式比较样本属于每个类的后验概率，将类别决策为后验概率大的一类，这就是贝叶斯决策。比如，当P(w1|x)最大，我们这决策其为第一类硬币，根据贝叶斯公式得，若p(x|w1)P(w1)最大则决策为第一类硬币。这么做的目的是为了使总体的错误率（即：在所有可能出现的样本上类别决策错误的概率）最小。

通常，在所有样本上做出正确决策的概率就是正确率，记作P(c)；错误率记作P(e)，显然P(c)=1−P(e)。对于k分类为题，在样本x上的错误率为：

p(e|x)=⎧⎩⎨⎪⎪⎪⎪⎪⎪1−P(w1|x)1−P(w2|x)...1−P(wk|x)if x∈w1if x∈w2if x∈wk

而错误率是定义在所有服从相同分布的独立样本上错误概率的期望，即：

P(e)=∫P(e|x)p(x)dx

以上就是贝叶斯决策的基本思想。

(1)两种决策规则

根据面对的具体问题不同，各类特征的概率模型可能会变得非常复杂，但是基本的求解步骤和决策原理是一致的。有两种常见的贝叶斯决策的规则：最小错误率贝叶斯决策和最小风险贝叶斯决策。

(2)概率密度函数估计的方法

若概率密度函数形式已知，但其中部分或全部参数未知，则需要用样本来估计参数，这叫做参数估计。主要方法又分为两大类：最大似然估计和贝叶斯估计；

若概率密度函数的形式也是未知的，或者概率密度函数不符合目前研究的任何分布模型，就不能是仅仅估计几个参数，而是要用样本把概率密度函数数字化地估计出来，这叫做非参数估计。最基本的方法有：直方图法、K_n邻近法、Parzen窗法

以上内容在未来的博客中小编会慢慢写来。