机器学习 —— 基本概念

过拟合：

1、定义：训练好的分类器对训练样本很好的分类，但是对测试样本的分类结果很糟糕。

2、原因：特征维度过多，导致拟合的函数完美的经过训练集，但是对新数据的预测结果则较差。

3、解决方法：

减少特征维度： 可以人工选择保留的特征，或者模型选择算法；

正则化：保留所有的特征，通过降低参数θ的值，来影响模型

欠拟合：

1、定义：分类器学习能力太差，连在训练样本上都没有很好的分类

2、原因：特征维度过少，导致拟合的函数无法满足训练集，误差较大。

3、解决方法：增加特征维度

分类

1、预测离散值

2、属监督学习，拥有标记信息

3、只涉及两个类别的“二分类”任务，通常称其中一个类为“正类”，另一个类为“反类”。

4、涉及多个类别时，称为“多分类”任务

回归

1、预测连续值

2、属监督学习，拥有标记信息

聚类

1、将训练集中的数据分成若干组，每组称为一个“簇”，这些自动形成的簇可能对应一些潜在的概念划分

2、属无监督学习，不拥有标记信息

降维

采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。

泛化能力

学得的模型适用于新样本的能力

归纳

从特殊到一般的“泛化”过程，即从具体的事实归结出一般性规律

演绎

从一般到特殊的“特化”过程，即从基础原理推演出具体状况

归纳偏好

1、若有多个假设与观察一致，则选择最简单的那个

2、算法自身的归纳偏好与问题的匹配度会影响算法在该问题上的好坏