Blending, Bootstrap
2015-12-08 15:40
597 查看
听林轩田老师的《机器学习技法》,Lecture 7讲到model的blending。
理解了一个之前一直模棱两可的概念:bootstrap.
先说一下什么是blending。在机器学习中,我们可能可以很容易地得到一些简单的model,比如对于二分类问题,我们可以有一系列简单的model做分类,但是这些model的效果并不一定好。
一个做法就是我们对这些简单的model进行一个voting,把voting的结果作为最终的strong的model的结果。
vote的过程,可以是每个model的权值都相同,即每个model都有一票,也可以是定义一系列的alpha,让每个model有不同的票数。
一个很容易想到的问题就是,这些简单的,或者说是weak的model从哪里来?
一种方式是model的类型就不一样,比如可以训练一个svm,一个linear regression,一个logistic regression,这三个model本身就组成了这些简单的model;
一种方式是同一种model,选取不同的参数来生成简单的model,如调整svm的参数C就可以得到一系列的svm;
第三种方式,就是bootstrap,这种方式是通过使用不同的训练集合来得到一系列的model,训练集合的获取方式是这样的:从原来的训练集合中有放回地进行抽样,用每次得到的不同的样本进行训练,从而就得到了若干个model。
理解了一个之前一直模棱两可的概念:bootstrap.
先说一下什么是blending。在机器学习中,我们可能可以很容易地得到一些简单的model,比如对于二分类问题,我们可以有一系列简单的model做分类,但是这些model的效果并不一定好。
一个做法就是我们对这些简单的model进行一个voting,把voting的结果作为最终的strong的model的结果。
vote的过程,可以是每个model的权值都相同,即每个model都有一票,也可以是定义一系列的alpha,让每个model有不同的票数。
一个很容易想到的问题就是,这些简单的,或者说是weak的model从哪里来?
一种方式是model的类型就不一样,比如可以训练一个svm,一个linear regression,一个logistic regression,这三个model本身就组成了这些简单的model;
一种方式是同一种model,选取不同的参数来生成简单的model,如调整svm的参数C就可以得到一系列的svm;
第三种方式,就是bootstrap,这种方式是通过使用不同的训练集合来得到一系列的model,训练集合的获取方式是这样的:从原来的训练集合中有放回地进行抽样,用每次得到的不同的样本进行训练,从而就得到了若干个model。
相关文章推荐
- bootstrap-table插件数据加载方式
- Bootstrap提供了六种列表效果
- bootstrap 点击图片弹出大图
- JS表格组件神器bootstrap table详解(基础版)
- JS组件Bootstrap Table表格多行拖拽效果实现代码
- JS组件Bootstrap Table表格行拖拽效果实现代码
- bootstrap初识
- JS组件Bootstrap实现弹出框和提示框效果代码
- JS组件Bootstrap实现弹出框和提示框效果代码
- JS组件Bootstrap Table表格行拖拽效果实现代码
- JS组件Bootstrap Table表格多行拖拽效果实现代码
- Bootstrap CSS教程
- bootstrap按钮
- bootstrap开篇
- bootstrap的学习注意点
- 01_bootStrap中Tab页签切换
- 基于jQuery 实现bootstrapValidator下的全局验证
- bootstrap 分页
- jQuery 实现bootstrapValidator下的全局验证
- ace admin模板实现伪无刷新模式的方法