6-K近邻法(KNN)-分类-监督学习-机器学习
2018-06-06 16:45
351 查看
版权声明:可以 https://blog.csdn.net/yeziand01/article/details/80597329
参考:李航《统计学习方法》
K近邻法(k-nearest neighbor,KNN)
假设给定一个训练数据集,每个实例点(特征向量X)对应的类别(Y)已经确定。新的输入实例点的类别,由离它最近的K个实例点的类别,通过多数表决的方式决定。当k=1时,输入实例点的类别,将由离它最近的那个实例点的类别所决定,称为最近邻法。 k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素. k近邻法 1968 年由 Cover 和 Hart提出。K近邻法的三个基本要素
- 距离度量
- k值的选择
如何找出离某点最近的K个实例点?
- 枚举法
- KD树(K-dimension tree)
1) KD树是什么?
实际数据一般都会呈现簇状的聚类形态,我们可以将簇与簇划分开来。而类似地,KD树是棵二叉平衡树,其目的是把整个输入空间X划分为特定的几个部分,然后在特定空间内进行相关搜索操作。2) KD树是谁提出来的?
1975年,来自斯坦福大学的Jon Louis Bentley在ACM杂志上发表的一篇论文:Multidimensional Binary Search Trees Used for Associative Searching 中正式提出和阐述的了如下图形式的把空间划分为多个部分的k-d树。3) 如何构建KD树?
假设有一个训练集,包含6个二维实例点{(2,3),(5,4),(9,6),(4,7),(8,1),(7,2)}【暂忽略其类别(Y值)】。为了能有效的找到最近邻,KD树采用分而治之的思想,即将整个空间划分为几个小部分,具体步骤如下。S1 确定要分割的坐标轴。具体是:6个实例点在x,y维度上的数据方差分别为39,28.63,所以在x轴上方差更大,故要分割的坐标轴是X轴。【这个划分规则跟李航书上的循环选取坐标轴规则不同,但我觉得这个更有实际意义】S2 确定要分割的坐标轴的中位点。具体是:将实例点根据X轴上的值排序,中位值是7,对应的实例点是(7,2)。。这样,该节点的分割超平面就是垂直于X轴,通过实例点(7,2);S3 确定左子空间和右子空间。具体是:分割超平面x=7将整个空间分为两部分:x<=7的部分为左子空间,包含3个节点={(2,3),(5,4),(4,7)};另一部分为右子空间,包含2个节点={(9,6),(8,1)};S4 如上算法所述,KD树的构建是一个递归过程。 我们对左子空间和右子空间内的数据重复根节点的过程就可以得到一级子节点(5,4)和(9,6),同时将空间和数据集进一步细分,如此往复直到空间中只包含一个数据点。4)如何用KD树查询离某点最近的点?
举例:查询点(2.1,3.1)
星号表示要查询的点(2.1,3.1)。很快就能找到最邻近的近似点,也就是叶子节点(2,3)。而找到的叶子节点并不一定就是最邻近的,最邻近肯定距离查询点更近,应该位于以查询点为圆心且通过叶子节点的圆域内。为了找到真正的最近邻,还需要进行相关的‘回溯'操作。也就是说,算法首先沿搜索路径反向查找是否有距离查询点更近的数据点。以查询(2.1,3.1)为例:
【问题:如何找剩下的K-1个点?】
阅读更多相关文章推荐
- 机器学习之监督学习-分类
- 【机器学习】从分类问题区别机器学习类型 与 初步介绍无监督学习算法 PAC
- 机器学习相关内容介绍,包括有监督、无监督学习,线性回归分类问题等
- 【Todo】【转载】Spark学习 & 机器学习(实战部分)-监督学习、分类与回归
- 机器学习笔记2——K近邻法KNN(分类)
- 【机器学习】python实践笔记 -- 经典监督学习模型之分类学习模型
- 【机器学习】监督学习:分类和回归
- 1.5 KNN算法学习——KNN算法分类模型的实现与分类准确度评估
- 【机器学习详解】KNN分类的概念、误差率及其问题
- 机器学习之监督学习-回归
- python 机器学习KNN分类算法
- 机器学习之“有监督学习”和“无监督学习”(转载)
- 斯坦福大学公开课 :机器学习课程(Andrew Ng)——3、监督学习:Gaussian Discriminant Analysis (GDA)
- Stanford大学机器学习公开课(二):监督学习应用与梯度下降
- 机器学习--监督学习应用(梯度下降)
- 第1章:阿里云机器学习实践之路 / 第5节:深度学习--使用TensorFlow实现图像分类
- 机器学习(二)无监督学习
- 机器学习笔记之监督学习与无监督学习的一些初步总结
- Andrew Ng机器学习笔记week8 无监督学习(聚类、PCA)
- 机器学习 一 监督学习和无监督学习的区别