学习笔记33-生成式模型-判别式模型

统计学习方法

首先需要说明一些基本概念：

1. 统计学习方法

统计学习方法就是对数据进行预测和分析，特别是对未知的新数据进行预测。包括监督学习（Supervised Learning），非监督学习（Unsupervised Learning），半监督学习（Semi-supervised Learning），强化学习（Reinforcement Learning）等。

作为一种计算机使用的方法，肯定有最基本的输入和输出。输入变量的集合称为输入空间，输出变量的集合称为输出空间。

通常对于输入的每一个数据，我们称为实例（instance），通常用一个特征向量（feature vector）表示，特征向量存在的空间称为特征空间（feature space）。

对于所有可能的输入到输出的映射的集合，我们称为假设空间（hypothesis space）。

统计学习方法有三要素：

方法=模型+策略+算法

2. 模型

其中，模型就是输入到输出空间的一种映射关系。对于监督学习，模型有两种表示方法（两种函数）：

（下面用X表示输入向量，Y表示输出向量）重点内容

a. 条件概率分布：P(Y|X)，表示出现X向量的情况下，出现Y向量的概率。

b. 决策函数： Y=f(X)，表示输入变量X和输出变量Y之间的关系。

3. 联合概率

在说到条件概率分布之前需要先说明几个概念。首先是联合概率：我们高中数学讲过，联合概率，是包含了多个条件的概率，比如P(X=a,Y=b)，包含了两个条件，需要两个条件同时成立，括号里面的事件才成立。

然后是联合概率分布，这里讲到分布函数，是《概率论》的知识，表示随机变量取值的概率规律，比如常见的有正态分布。联合概率分布，就是上面讲的联合概率的分布函数。这里用P(X,Y)表示。

（概率只是一个值，分布是一个函数）

4. 条件概率

条件概率跟联合概率不同，都包含了多个条件，但是它表示在已知某些条件成立的情况下，另外一些条件成立的概率。比如P(Y|X)表示在已知输入变量是X的情况下，输出Y的概率。

而条件概率分布，是一个函数，表示在X和Y不同取值的情况下，上面这个概率的变化规律。

5. 贝叶斯定理

那么如果我们知道了两个变量的联合概率分布，能不能求它们的条件概率分布呢？这就是贝叶斯定理：

P(Y|X)=P(X,Y)/P(X)

6. 决策函数

决策函数可以简单理解为输入跟输出的一种函数映射关系，可以是线性函数，比如Y=a*X+b。

监督学习方法又可以分为生成方法（Generative Approach）和判别方法（Discriminative Approach） ，所以引出了我们的主题：

生成模型（Generative Model）和判别模型（Discriminative Model）。

生成模型（Generative Model）

生成方法是由数据学习联合概率分布P(X,Y)，然后根据联合概率分布求出条件概率分布P(Y|X)，作为预测模型。

P(Y|X)=P(X,Y)/P(X)

因为模型表示了给定输入X产生输出Y的生成关系，所以叫生成模型。

典型的生成模型有朴素贝叶斯法和隐马尔科夫模型。

生成方法的特点是可以还原出联合概率分布，而且学习收敛速度快。

判别模型（Discriminative Model）

判别模型是直接由数据学习条件概率分布或者决策函数，作为预测的模型，所以叫判别模型。常见的有k近邻算法，感知机，决策树，支持向量机， 逻辑回归，最大熵模型，提升方法和条件随机场等。

判别模型的特点是直接学习预测模型，往往学习的准确率更高，而且可以对数据进行各种程度上的抽象，定义特征并使用特征，因此可以简化学习问题。

概率模型&非概率模型

这两个概念，容易跟上面的混淆。

概率模型，是指用条件概率分布表示的模型。

非概率模型，指用决策函数表示的模型。

所以，生成模型一定是概率模型，判别模型可能是概率模型也可能是非概率模型。