分类模型与算法--贝叶斯分类器

本文将主要介绍贝叶斯分类器的基本原理、种类以及贝叶斯定理的相关知识。

一、概述

贝叶斯分类器是一类分类算法的总称，这类算法皆以贝叶斯定理为基础，因此统称为贝叶斯分类器。

原理：通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。

二、贝叶斯定理

贝叶斯定理是一则关于随机事件A和B的条件概率的定理。往往是在已知某条件概率P(A|B)的情况下，如何得到两个时间交换后的概率，也就是P(B|A)。

具体公式如下：

（1）


（2）


该公式主要由以下两个公式推导而来：

（1）条件概率公式：


（2）全概率公式：

三、种类

目前研究较多的贝叶斯分类器主要有四种：

（1）朴素贝叶斯（Naive Bayes，简称NB）：假定最简单的情形，即特征变量x相对独立。

（2）TAN分类器（Tree Augmented Naive Bays，又称树增强型朴素贝叶斯分类器）：在朴素贝叶斯基础上进行了进一步扩展，是一种半朴素贝叶斯分类器，它允许各特征变量所对应的结点构成一棵树。

（3）BAN分类器（BN Augmented Naive Bayes）：进一步扩展TAN分类器,允许各特征变量所对应的结点之间的关系构成一个图，而不只是树。

（4）GBN分类器（General Bayesian Network）：一种无约束的贝叶斯网络分类器，和前三类贝叶斯网络分类器有较大区别的是在前三类分类器中均将类变量所对应的结点作为一个特殊的结点，即是各特征结点的父结点，而GBN中将类结点作为一普通结点。



后面将以上述四种分类器为主题写四篇文章讲述其原理，并辅以实例。

参考资料：

【1】 贝叶斯分类器_百度百科

【2】邓甦,付长贺. 四种贝叶斯分类器及其比较[J]. 沈阳师范大学学报(自然科学版),2008,(01):31-33.