机器学习中特征选择

一、特征选择和降维

1、相同点和不同点

    特征选择和降维有着些许的相似点，这两者达到的效果是一样的，就是试图去减少特征数据集中的属性(或者称为特征)的数目；但是两者所采用的方式方法却不同：降维的方法主要是通过属性间的关系，如组合不同的属性得新的属性，这样就改变了原来的特征空间；而特征选择的方法是从原始特征数据集中选择出子集，是一种包含的关系，没有更改原始的特征空间。

2、降维的主要方法

Principal Component Analysis(主成分分析)，详细见“简单易学的机器学习算法——主成分分析(PCA)”
Singular Value Decomposition(奇异值分解)，详细见“简单易学的机器学习算法——SVD奇异值分解”
Sammon's Mapping(Sammon映射)

二、特征选择的目标

    引用自吴军《数学之美》上的一句话：一个正确的数学模型应当在形式上是简单的。构造机器学习的模型的目的是希望能够从原始的特征数据集中学习出问题的结构与问题的本质，当然此时的挑选出的特征就应该能够对问题有更好的解释，所以特征选择的目标大致如下：

提高预测的准确性
构造更快，消耗更低的预测模型
能够对模型有更好的理解和解释

三、特征选择的方法

    主要有三种方法：

1、Filter方法

    其主要思想是：对每一维的特征“打分”，即给每一维的特征赋予权重，这样的权重就代表着该维特征的重要性，然后依据权重排序。

    主要的方法有：

Chi-squared test(卡方检验)
information gain(信息增益)，详细可见“简单易学的机器学习算法——决策树之ID3算法”
correlation coefficient scores(相关系数)

2、Wrapper方法

    其主要思想是：将子集的选择看作是一个搜索寻优问题，生成不同的组合，对组合进行评价，再与其他的组合进行比较。这样就将子集的选择看作是一个是一个优化问题，这里有很多的优化算法可以解决，尤其是一些启发式的优化算法，如GA，PSO，DE，ABC等，详见“优化算法——人工蜂群算法(ABC)”，“优化算法——粒子群算法(PSO)”。

    主要方法有：recursive feature elimination algorithm(递归特征消除算法)

3、Embedded方法

    其主要思想是：在模型既定的情况下学习出对提高模型准确性最好的属性。这句话并不是很好理解，其实是讲在确定模型的过程中，挑选出那些对模型的训练有重要意义的属性。

    主要方法：正则化，可以见“简单易学的机器学习算法——岭回归(Ridge
Regression)”，岭回归就是在基本线性回归的过程中加入了正则项。

总结以及注意点

    这篇文章中最后提到了一点就是用特征选择的一点Trap。个人的理解是这样的，特征选择不同于特征提取，特征和模型是分不开，选择不同的特征训练出的模型是不同的。在机器学习=模型+策略+算法的框架下，特征选择就是模型选择的一部分，是分不开的。这样文章最后提到的特征选择和交叉验证就好理解了，是先进行分组还是先进行特征选择。

    答案是当然是先进行分组，因为交叉验证的目的是做模型选择，既然特征选择是模型选择的一部分，那么理所应当是先进行分组。如果先进行特征选择，即在整个数据集中挑选择机，这样挑选的子集就具有随机性。

    我们可以拿正则化来举例，正则化是对权重约束，这样的约束参数是在模型训练的过程中确定的，而不是事先定好然后再进行交叉验证的。