KNN python实践

本文实现了一个KNN算法，准备用作词频统计改进版本之中，这篇博文是从我另一个刚开的博客中copy过来的。

　　KNN算法是一个简单的分类算法，它的动机特别简单：与一个样本点距离近的其他样本点绝大部分属于什么类别，这个样本就属于什么类别，算法的主要步骤如下：


　　KNN算法的优点在于一般精度高，对于异常的噪音数据不敏感。KNN一个明显的问题是当属于某个类别c的数据点在已知类别数据集中大量存在时，一个待预测的样本点的前K个最近的点总是存在很多类别c的点，解决这个问题的方法是计算类别的频率时，按照距离进行加权，使得离得近的点比离的远一些点更能影响类别频率排序的结果。

　　KNN算法中K值的选定非常影响最后的结果，通常可以使用交叉检验来选取合适的k。下面是仿照sikit-learn的KNeighborsClassifier的调用方式写的KNN：

class KNN_Classifier:
def __init__(self, k):
self.k = k
self.train_data = None
self.train_labels = None

def fit(self, train_data, train_labels):
self.train_data = normalize(train_data)
self.train_labels = train_labels

def predict(self, test_data):
if (self.train_data is None) | (self.train_labels is None):
print 'fit train data first!'
pre_labels = []
train_data_size = len(self.train_labels)
#  for every data point in test set
for x in normalize(test_data):
#  calculate distance
sq_diff_mat = (np.tile(x, (train_data_size, 1)) - self.train_data) ** 2
distances = np.sum(sq_diff_mat, axis=1) ** .5
#  get lowest k distances
sorted_dis_indices = distances.argsort()[0: self.k]
#  count the times class occur
class_counts = {}
for idx in sorted_dis_indices:
label = labels[idx]
class_counts[label] = class_counts.get(label, 0) + 1
#  sort class_count dict
sorted_class = sorted(class_counts.items(), key=lambda d: d[1], reverse=True)
#  add max voted class to pre_labels
pre_labels.append(sorted_class[0][0])
return pre_labels

测试代码如下所示

#  load data
data, labels = load_dating_data()
#  split data into train set and test set
split_pos = int(len(labels) * 0.9)
train_data = normalize(data[0: split_pos])
train_labels = labels[0: split_pos]
test_data = normalize(data[split_pos: len(labels)])
test_labels = labels[split_pos: len(labels)]
#  init classifier
classifier = KNN_Classifier(50)
#  fit classifier
classifier.fit(train_data, train_labels)
#  predict the class of test data and count error points
error_num = (test_labels != classifier.predict(test_data)).sum()
#  calculate error rate and print
print 'error rate is %f' % (error_num * 1.0 / len(test_labels))

　　这里使用machine learning in action中的提供的dating data，将90%的数据用作训练数据集，10%的数据用作测试集，选取k=50算法得到的错误率为0.08。

　　下面我们来看一下如何使用scikit-learn提供的KNN实现。

scikit-learn中主要提供了2种KNN，KNeighborsClassifier和RadiusNeighborsClassifier。前者使用指定的前K个近邻来预测新样本点的类别，后者则是根据一个指定的半径，使用半径内所有的点来预测。创建一个KNN分类器时有这些重要的参数：


　　这里只列出了几个常用的参数，具体的可以参考链接。使用的方法和上面的测试代码类似，只需要将classifier替换成scikit-learn的实现就可以了。