贝叶斯分类器

1、条件概率

P(A|B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}

即：在事件B发生的条件下事件A发生的频率，等于事件A、B同时发生的频率除以事件B发生的频率，可以通过文氏图来理解条件概率。

由条件概率可以得到乘法公式：

P(AB)=P(A|B)P(B)P(AB)=P(A|B)P(B)，同理：P(AB)=P(B|A)P(A)P(AB)=P(B|A)P(A)

2、全概率公式

设B1,B2,...,BnB_{1},B_{2},...,B_{n}为一完备事件组，即相互之间交集为空，且总的并集为1，则对事件A有：

P(A)=∑ni=1P(A|Bi)P(Bi)P(A)=\sum_{i=1}^{n}P(A|B_{i})P(B_{i})，其中i=1,2,…,n

3、贝叶斯公式

设B1,B2,...,BnB_{1},B_{2},...,B_{n}为一完备事件组，即相互之间交集为空，且总的并集为1，则有：

P(Bj|A)=P(A|Bj)P(Bj)∑ni=1P(A|Bi)P(Bi)P(B_{j}|A)=\frac{P(A|B_{j})P(B_{j})}{\sum_{i=1}^{n}P(A|B_{i})P(B_{i})}，其中i、j=1,2,…,n

4、贝叶斯分类

假设有n个类别，分别为 C1,C2,...,CnC_{1},C_{2},...,C_{n}

各个类别的概率，即 P(C1),P(C2),...,P(Cn)P(C_{1}),P(C_{2}),...,P(C_{n})，是好求的，称为先验概率

有k个特征，分别为t1,t2,...,tkt_{1},t_{2},...,t_{k}，贝叶斯分类假设各个特征之间是相互独立的

各个类别中每个特征的概率也可以求出来，即求

P(t1|C1),P(t2|C1),...,P(tk|C1)P(t_{1}|C_{1}), P(t_{2}|C_{1}), ..., P(t_{k}|C_{1})

P(t1|C2),P(t2|C2),...,P(tk|C2)P(t_{1}|C_{2}), P(t_{2}|C_{2}), ..., P(t_{k}|C_{2})

….

P(t1|Cn),P(t2|Cn),...,P(tk|Cn)P(t_{1}|C_{n}),P(t_{2}|C_{n}),...,P(t_{k}|C_{n})

假设有一特征向量为t′1,t′2,...,t′kt_{1}^{'},t_{2}^{'},...,t_{k}^{'}，现在要对其分类，即在特征为t′1,t′2,...,t′kt_{1}^{'},t_{2}^{'},...,t_{k}^{'}的情况下，看看那个类别的概率最大，最大的那个类别的概率即为贝叶斯分类的结果，求：

P(C1|(t′1,t′2,...,t′k)),...,P(Cn|(t′1,t′2,...,t′k))P(C_{1}|(t_{1}^{'},t_{2}^{'},...,t_{k}^{'})),...,P(C_{n}|(t_{1}^{'},t_{2}^{'},...,t_{k}^{'}))

以求P(C1|(t′1,t′2,...,t′k))P(C_{1}|(t_{1}^{'},t_{2}^{'},...,t_{k}^{'}))为例：

P(C1|(t′1,t′2,...,t′k))=P((t′1,t′2,...,t′k)C1)P(t′1,t′2,...,t′k)=P((t′1,t′2,...,t′k)|C1)P(C1)P(t′1,t′2,...,t′k)P(C_{1}|(t_{1}^{'},t_{2}^{'},...,t_{k}^{'}))=\frac{P((t_{1}^{'},t_{2}^{'},...,t_{k}^{'}) C_{1})}{P(t_{1}^{'},t_{2}^{'},...,t_{k}^{'})}=\frac{P((t_{1}^{'},t_{2}^{'},...,t_{k}^{'})|C_{1})P(C_{1})}{P(t_{1}^{'},t_{2}^{'},...,t_{k}^{'})}

因为分母P(t′1,t′2,...,t′k)P(t_{1}^{'},t_{2}^{'},...,t_{k}^{'})对每个类别是一样的，所以可以忽略不求，所以只需要求上式中分子的最大值，现在求P((t′1,t′2,...,t′k)|C1)P(C1)P((t_{1}^{'},t_{2}^{'},...,t_{k}^{'})|C_{1})P(C_{1})，因为各个特征之间相互独立，所以P((t′1,t′2,...,t′k)|C1)=P(t1|C1)P(t2|C1)...P(tk|C1)P((t_{1}^{'},t_{2}^{'},...,t_{k}^{'})|C_{1})=P(t_{1}|C_{1})P(t_{2}|C_{1})...P(t_{k}|C_{1})，因为每个分类中各个特征的概率我们已经求出来了，所以现在就好计算了。

完，

参考链接：

（阮一峰）http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html

（比较详细，没看）http://www.cnblogs.com/leoo2sk/archive/2010/09/17/1829190.html