决策树 逻辑回归 KNN 的原理
2016-06-20 14:35
204 查看
决策树:每个内部节点代表一种特征 叶子节点代表 一种分类。基于训练数据建立决策树的过程是 特征选取的过程,递归地根据特征的信息增益来选取信息增益较大的特征, 用这个特征来划分特征空间, 得到的特征空间来当做决策树的节点。这样的决策树生成算法叫 ID3算法,将ID3算法中的信息增益换成信息增益比 便是C4.5 算法,这两个算法的过程都是极大似然估计的过程。CART分类决策树 用的是 基尼指数(与信息熵类似,表征集合的确定性)来划分 特征空间。
为了防止过拟合,将生成的决策树进行剪枝 简化:建立损失函数 包含两部分 对训练数据的预测误差和 决策树的复杂程度。 从决策树的叶子节点 向上递归计算 使使损失函数最小的决策树。
逻辑回归:建立逻辑分布分类模型 用极大似然函数 估计参数
KNN:离目标点距离最近的K个 数据点来决定目标点的所属类型。三个基本要素是:距离函数(欧氏距离 曼哈顿距离) K值选取(交叉验证) 分类决策规定(多数表决)。K近邻的选取用 kd树结构
为了防止过拟合,将生成的决策树进行剪枝 简化:建立损失函数 包含两部分 对训练数据的预测误差和 决策树的复杂程度。 从决策树的叶子节点 向上递归计算 使使损失函数最小的决策树。
逻辑回归:建立逻辑分布分类模型 用极大似然函数 估计参数
KNN:离目标点距离最近的K个 数据点来决定目标点的所属类型。三个基本要素是:距离函数(欧氏距离 曼哈顿距离) K值选取(交叉验证) 分类决策规定(多数表决)。K近邻的选取用 kd树结构
相关文章推荐
- 每周一篇之EditText的简单使用
- 设置session失效时间
- 哪些技巧可以让你的网站脱颖而出
- mac下android环境搭建笔记(android studio)
- 电路设计中用0欧电阻隔离数字地和模拟地的优势
- android try catch做崩溃处理
- Mac如何显示隐藏文件 Mac显示隐藏文件命令
- CSS 轮廓
- centos6.7下安装drbd+heartbeat,亲测可用
- p1001
- YUM搭建LNMP框架
- Android Service完全解析,关于服务你所需知道的一切(下)
- vb.net 获取进程列表
- Beta阶段项目总结
- 新站快速获得排名的方法技巧
- 接口测试Fiddler实战20150921
- Python自学笔记20160620
- Java设计模式之--外观模式(facade pattern)
- Android Service完全解析,关于服务你所需知道的一切(上)
- 安卓内存分析工具Mat的基本用法