数据挖掘---Lasso算法简介
2013-09-06 16:37
274 查看
使用数理统计模型从海量数据中有效挖掘信息越来越受到业界关注。在建立模型之初,为了尽量减小因缺少重要自变量而出现的模型偏差,通常会选择尽可能多的自变量。然而,建模过程需要寻找对因变量最具有强解释力的自变量集合,也就是通过自变量选择(指标选择、字段选择)来提高模型的解释性和预测精度。指标选择在统计建模过程中是极其重要的问题。Lasso算法则是一种能够实现指标集合精简的估计方法。
Tibshirani(1996)提出了Lasso(The Least Absolute Shrinkage and Selectionator operator)算法。这种算法通过构造一个惩罚函数获得一个精炼的模型;通过最终确定一些指标的系数为零,LASSO算法实现了指标集合精简的目的。这是一种处理具有复共线性数据的有偏估计。Lasso的基本思想是在回归系数的绝对值之和小于一个常数的约束条件下,使残差平方和最小化,从而能够产生某些严格等于0的回归系数,得到解释力较强的模型。R统计软件的Lars算法的软件包提供了Lasso算法。根据模型改进的需要,数据挖掘工作者可以借助于Lasso算法,利用AIC准则和BIC准则精炼简化统计模型的变量集合,达到降维的目的。因此,Lasso算法是可以应用到数据挖掘中的实用算法。
Tibshirani(1996)提出了Lasso(The Least Absolute Shrinkage and Selectionator operator)算法。这种算法通过构造一个惩罚函数获得一个精炼的模型;通过最终确定一些指标的系数为零,LASSO算法实现了指标集合精简的目的。这是一种处理具有复共线性数据的有偏估计。Lasso的基本思想是在回归系数的绝对值之和小于一个常数的约束条件下,使残差平方和最小化,从而能够产生某些严格等于0的回归系数,得到解释力较强的模型。R统计软件的Lars算法的软件包提供了Lasso算法。根据模型改进的需要,数据挖掘工作者可以借助于Lasso算法,利用AIC准则和BIC准则精炼简化统计模型的变量集合,达到降维的目的。因此,Lasso算法是可以应用到数据挖掘中的实用算法。
相关文章推荐
- 数据挖掘---Lasso算法简介
- 数据挖掘算法概念与经典算法简介
- SSAS数据挖掘算法简介
- 数据挖掘算法学习(二)weka简介
- 数据挖掘——单层感知器算法简介
- 数据挖掘十大经典算法简介
- 数据挖掘10大算法简介
- 数据挖掘算法学习(二)weka简介
- 数据挖掘十大经典算法简介
- 数据挖掘常用算法简介
- 数据挖掘算法简介
- 数据挖掘——多层感知器算法简介
- 数据挖掘决策树分类算法简介
- 数据挖掘算法学习(二)weka简介
- 数据挖掘领域十大经典算法
- 基于MapReduce编程模型的数据挖掘算法
- 程序员面试、算法研究、编程艺术、红黑树、数据挖掘5大系列集锦
- 数据挖掘经典算法
- 数据挖掘十大经典算法(6) PageRank
- 数据挖掘十大经典算法