您的位置:首页 > 其它

机器学习 | 浅谈K-近邻算法

2019-06-01 22:33 1341 查看

K-近邻(KNN)算法是解决分类问题的算法。既可以解决二分类,也可以解决多分类问题。

其实它也可以解决回归问题。

 

 

K-近邻原理:

  某个样本的类别,由与之最相近的K个邻居投票所决定。

  例子:

  现在有一个样本集,其中所有数据都已经标记好类别,假设有一个未知类别的样本x需要进行分类。

  在离这个样本距离最近的K个样本中,统计各个类别的占比。假设k=5时,计算出哪5个样本离未知样本x最近,

  然后统计它们的类别,如在这5个样本中,有2个属于类别A,3个属于类别B。由于类别B的占比比较高,

  所以得出样本x属于类别B。

  如图:

        

   红点的类别为class A ,蓝点的类别为class B,黑点表示需要预测类别的样本x。

   通过Knn算法,当k=5时:

   

    离黑点(样本x)最近的5(K所决定)个样本中,有3个蓝点,2个红点。所以可判定黑点和蓝点属同一个类别,为class B

    既然K的取值决定了取K个邻居进行投票。那么当K取其他值,又是什么情况呢?

    (另一种情况)当k=3时:

        

    此时离黑点最近的3个邻居中,2个红点,1个蓝点,因此红点占比高,所以可以判定黑点和红点一样属于class A类别

    通过对比可知:

       

     在K-近邻中,K的取值影响了最终预测的结果。

 

K-近邻伪代码:

    1.遍历训练集所有样本,计算每个样本与样本x之间的距离,保存所有距离

    2.对这些距离进行排序(升序),取出k个最近的样本

    3.对k个样本的类别进行统计,找出占比最高的类别

    4.待标记样本的类别就是占比最高的类别 

 

      

 

    

 

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: