K-means、KNN学习笔记

1.K-means:聚类算法，无监督
输入：k, data
;
（1） 选择k个初始中心点，例如c[0]=data[0],…c[k-1]=data[k-1];
（2） 对于data[0]….data
, 分别与c[0]…c[k-1]比较，假定与c[i]差值最少，就标记为i;
（3） 对于所有标记为i点，重新计算c[i]={ 所有标记为i的data[j]之和}/标记为i的个数；
（4） 重复(2)(3),直到所有c[i]值的变化小于给定阈值。

优点：简单，速度快；
缺点：聚类结果与初始中心选取有关，必须提供聚类数目（k值），通常做法是，用不同K值多次聚类，取最优结果。

2.Knn：分类算法，有监督
计算步骤如下：

1）给定测试对象，计算它与训练集中的每个对象的距离

2）圈定距离最近的k个训练对象，作为测试对象的近邻

3）根据这k个近邻归属的主要类别，来对测试对象分类

优点：简单，无需估计参数，无需训练
缺点：计算量大，内存开销大