机器学习实战--k近邻算法（续）

    接续上次的k近邻算法，上一篇博文地址，这里用一个新的实例进行算法的验证。

一个手写数字识别系统，为了处理方便，书中已经将样本训练好，并转化为txt格式方便后续处理。具体格式如下：


这是0的其中一种表示方式。

    我们的目标是输入一个类似的数字，系统能够识别出来即可。

————————————————————————————————————————

一、具体算法实现：

# coding: UTF-8
import numpy as np
import os
import operator

# 将txt格式的数字转化为1*1024的向量格式
def img2vector(filename):
return_vector = np.arange(1024)
with open(filename) as f:
for i in range(32):
line = f.readline()
for j in range(32):
return_vector[32 * i + j] = int(line[j])
return return_vector

# 分类算法实现
def classify(input_vector, trained_mat, class_list, k=3):
# 欧式距离计算
rows = trained_mat.shape[0]
input_mat = np.tile(input_vector, (rows, 1))
diff_mat = input_mat - trained_mat
squ_mat = diff_mat ** 2
sum_mat = squ_mat.sum(axis=1)
d = sum_mat ** 0.5
# 根据距离排序，获得排序后的索引
sorted_d = d.argsort()
# 创建用来统计某一类标签的字典
class_count = {}
for i in xrange(k):
class_label = class_list[sorted_d[i]]
class_count[class_label] = class_count.get(class_label, 0) + 1
# 根据统计得到的类别数量，进行排序，返回一个包含元组的列表,[(),(),...()]
sorted_class = sorted(class_count.iteritems(), key=operator.itemgetter(1), reverse=True)
return sorted_class[0][0]

# 用N个行向量构成训练矩阵
# 通过txt的命名获得分类
def vector2mat():
training_file_list = os.listdir('./trainingDigits')
rows = len(training_file_list)
trained_mat = np.zeros((rows, 1024))
class_list = []
for index, each_file in enumerate(training_file_list):
digits, _ = each_file.split('.')
class_list.append(digits.split('_')[0])
trained_mat[index, :] = img2vector('./trainingDigits/%s' % each_file)
print trained_mat
return trained_mat, class_list

# 系统错误率测试
# 通过另一组test数据作为测试样本输入
def handwriting_test(trained_mat, class_list):
test_file_list = os.listdir('./testDigits')
test_num = len(test_file_list)
err_count = 0.0
for each_file in test_file_list:
# 去掉.txt的后缀
digits = each_file.split('.')[0]
# 得到已知分类，known_label类型应该与class_list中元素类别一致
known_label = digits.split('_')[0]
input_vector = img2vector('./testDigits/%s' % each_file)
classify_result = classify(input_vector, trained_mat, class_list)
print "Predict:%s\tReal answer:%s\n" % (classify_result, known_label)
if known_label != classify_result:
err_count += 1.0
print "total err num:%d" % err_count
print "err rate:%.2f" % (err_count / (float(test_num)))

def main():
trained_mat, class_list = vector2mat()
handwriting_test(trained_mat, class_list)

if __name__ == '__main__':
main()

————————————————————————————————————————

二、结果分析



错误率在1%左右，说明识别准确率还是挺高的；但是因为每次输入一个样本，都要计算与所有训练样本之间的欧式距离，运算量还是挺大的，速度上稍显不足。