集成学习基础
2015-08-04 10:29
197 查看
今天在微博上遇到一篇ensemble learning 的文章,读完感觉还不错。http://www.analyticsvidhya.com/blog/2015/08/introduction-ensemble-learning/
这篇文章简单的ensemble learning 的入门的一些,比较简单。
第一点:通过购买一家公司的股票时可以通过不同的途径向不同的人咨询(公司内部员工,证券交易所的员工等)获得他的评价来最终决定是否可以购入。
这里面涉及到一点,不同途径给出的建议要具有独立性,例如将多个该公司内部员工的建议综合起来的独立性就没有之前的好。
第二点:什么是集成学习,如何区分不同
集成学习是一门将不同学习者结合的艺术。
不去不同学习者可以从:
第三点:集成学习的误差
bias :表示的是在平均程度上,预测值与真实值之间的误差。偏差越大,模型的预测效果越差。
variance:就是方差了,就是预测结果的方差。方差越大,有可能会过拟合。
bias 和 variance 的联系:
问题的关键就变成了如何折中的选择bias and variance:
第四点:几种经常用到的集成学习技术:
1、bagging
这个就比较简单了,只是集合起来而已,不同model之间没有联系。可以减小方差。
2、boosting
它就是迭代的进行,每次改变单个数据的权重,错误的权重增加。可以减少偏差,但有时候会在训练数据上过拟合。
3、stacking
他通过利用一个学习者集成多个学习者的结果,可以同时减少方差和偏差。
这篇文章简单的ensemble learning 的入门的一些,比较简单。
第一点:通过购买一家公司的股票时可以通过不同的途径向不同的人咨询(公司内部员工,证券交易所的员工等)获得他的评价来最终决定是否可以购入。
这里面涉及到一点,不同途径给出的建议要具有独立性,例如将多个该公司内部员工的建议综合起来的独立性就没有之前的好。
第二点:什么是集成学习,如何区分不同
集成学习是一门将不同学习者结合的艺术。
不去不同学习者可以从:
1. Difference in population
2. Difference in hypothesis
3. Difference in modeling technique
4. Difference in initial seed
第三点:集成学习的误差bias :表示的是在平均程度上,预测值与真实值之间的误差。偏差越大,模型的预测效果越差。
variance:就是方差了,就是预测结果的方差。方差越大,有可能会过拟合。
bias 和 variance 的联系:
问题的关键就变成了如何折中的选择bias and variance:
第四点:几种经常用到的集成学习技术:
1、bagging
这个就比较简单了,只是集合起来而已,不同model之间没有联系。可以减小方差。
2、boosting
它就是迭代的进行,每次改变单个数据的权重,错误的权重增加。可以减少偏差,但有时候会在训练数据上过拟合。
3、stacking
他通过利用一个学习者集成多个学习者的结果,可以同时减少方差和偏差。
相关文章推荐
- zoj 3551 Bloodsucker 概率DP
- First Article
- 拷贝构造函数与赋值运算符重载函数要点
- C#泛型集合
- android开发常用知识点备忘录
- windows环境下如何安装memcached教程
- Spring JdbcTemplate 查询出的Map,是如何产生大小写忽略的Key的?
- C++ 标准模板库STL multimap 使用方法与应用介绍
- 198 House Robber
- Hdu 1272 小希的迷宫(并查集)
- MongoDB实战系列之五:mongodb的分片配置
- [转] mysql中insert into select和create select用法
- The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path 错误
- 南邮 OJ 1074 南二的公告牌
- Mysql参数
- iOS—Xcode中设置Framework Search Paths的秘密!
- 利用Google Earth制作DEM
- GCD --- 最常用的设计模式
- LeetCode:Rotate List
- enumerate遍历列表