李航统计学习方法-K邻近法
2017-07-07 13:45
197 查看
k邻近简单的理解一下就是，给定一部分带标签样本和一个未知标签样本，将未知标签样本和带标签样本一一比较求距离，然后根据最近k个样本来决定未知标签样本的类别。
如上图：确定圆圈的类别，如K=3，则为三角；若K=5，则为正方形。
那么怎么求距离？选择何种求距离算法。
书中给出了Lp距离的求解：
除了距离度量外，K邻近法的K值如何选取也很重要，书中介绍如下：
K值较小，模型较复杂，易过拟合；K值较大，模型简单。
按照开始我说了，用未知样本和已知样本一一对比方法，在样本数很大时，会花费很多很多时间，有没有一种策略，来加速这种对比呢：下面就要将书中提到的KD树。
构建平衡KD树：
KD树搜索：
除了KD树这种方式还有其他的加速方式：先要详细了解的见：
http://www.cnblogs.com/v-July-v/archive/2012/11/20/3125419.html
上述链接详细讲解了knn算法中的距离度量和k邻近优化方法。
理论永远都在纸上，怎么用才是关键，python代码链接奉上：
http://blog.csdn.net/wds2006sdo/article/details/51933044
如上图：确定圆圈的类别，如K=3，则为三角；若K=5，则为正方形。
那么怎么求距离？选择何种求距离算法。
书中给出了Lp距离的求解：
除了距离度量外，K邻近法的K值如何选取也很重要，书中介绍如下：
K值较小，模型较复杂，易过拟合；K值较大，模型简单。
按照开始我说了，用未知样本和已知样本一一对比方法，在样本数很大时，会花费很多很多时间，有没有一种策略，来加速这种对比呢：下面就要将书中提到的KD树。
构建平衡KD树：
KD树搜索：
除了KD树这种方式还有其他的加速方式：先要详细了解的见：
http://www.cnblogs.com/v-July-v/archive/2012/11/20/3125419.html
上述链接详细讲解了knn算法中的距离度量和k邻近优化方法。
理论永远都在纸上，怎么用才是关键，python代码链接奉上：
http://blog.csdn.net/wds2006sdo/article/details/51933044
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 李航统计学习方法--感知机
- 统计学习方法 李航---第9章 EM算法及其推广
- 统计学习方法之感知机_李航
- 统计学习方法 李航 第一章习题
- 统计学习方法 李航---第1章 统计学习方法概论
- 李航统计学习方法-朴素贝叶斯法
- 李航 统计学习方法 例5.4 使用CART算法生成分类决策树
- 统计学习方法李航---第一章
- 统计学习方法 李航---第10章 隐马尔可夫模型
- 统计学习方法之感知机算法对偶形式_李航
- 统计学习方法 李航 第二章习题
- 《统计学习方法，李航》：10、隐马尔科夫模型
- 统计学习方法 李航---第11章 条件随机场
- 机器学习系列笔记1：《统计学习》李航博士 第一章 统计学习方法概论
- 李航-统计学习方法总结（SVM，感知机，朴素贝叶斯，正则化等）
- 统计学习方法 李航---第12章 统计学习方法总结
- 李航统计学习方法EM算法三枚硬币例子Q函数推导
- 李航 统计学习方法 第一章 课后 习题 答案
- 李航统计学习方法 维特比算法实现例10.3
- 李航统计学习方法笔记1 统计学习方法概论