最近邻规则算法（KNN）

最近邻算法（KNN）是一个基于实例学习的分类算法。
如果一个实例在特征空间中的K个最相似（即特征空间中最近邻）的实例中的大多数属于某一个类别，则该实例也属于这个类别。所选择的邻居都是已经正确分类的实例。
算法步骤：

1、把所有分类好的（有标签label）的数据（实例）作为训练集；

2、选择好参数K；

3、计算未知实例与所有已知实例的距离；

4、选择最近K个已知实例；

5、根据少数服从多数的原则，把未知实例归类为K个最近邻样本中最多数的类别；
用于逼近连续值的目标函数：



优点：简单，易于实现；

通过对K的选择可具备丢噪声数据的健壮性
缺点：  需要大量空间储存所有已知实例
          算法复杂度高（需要比较所有已知实例与要分类的实例）
          当其样本分布不平衡时，比如其中一类样本过大（实例数量过多）占主导的时候，新的未知实例容易被归类为这个主导样本，因为这类样本实例的数量过大，但这个新的未知实例实际并木接近目标样本

改进：根据距离加上权重（例：1/d）

arg max f(x): 当f(x)取最大值时，x的取值





附：欧式距离（Euclidean Distance）：





其他距离衡量：余弦值（cos）, 相关度 （correlation）, 曼哈顿距离 （Manhattan distance）
基于实例的学习：只是简单地把训练样例存储起来，从这些实例中泛化的工作被推迟到必须分类新的实例时，每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此吧一个目标函数值赋给新实例。