特征提取及特征选择的介绍
1.特征提取 V.S 特征选择
特征提取和特征选择是DimensionalityReduction(降维)的两种方法,针对于the curse of dimensionality(维灾难),都可以达到降维的目的。但是这两个有所不同。特征提取(Feature Extraction):Creatting a subset of new features by combinations of the exsiting features.也就是说,特征抽取后的新特征是原来特征的一个映射。特征选择(Feature Selection):choosing a subset of all the features(the ones more informative)。也就是说,特征选择后的特征是原来特征的一个子集。
2. PCA V.S LDA
主成分分析(Principle Components Analysis ,PCA)和线性评判分析(Linear Discriminant Analysis,LDA)是特征提取的两种主要经典方法。对于特征提取,有两种类别:(1)Signal representation(信号表示): The goal of the feature extraction mapping is to represent the samples accurately in a low-dimensional space. 也就是说,特征抽取后的特征要能够精确地表示样本信息,使得信息丢失很小。对应的方法是PCA.(2)Signal classification(信号分类): The goal of the feature extraction mapping is toenhance the class-discriminatory information in a low-dimensional space. 也就是说,特征抽取后的特征,要使得分类后的准确率很高,不能比原来特征进行分类的准确率低。对与线性来说,对应的方法是LDA . 非线性这里暂时不考虑。可见, PCA和LDA两种方法的目标不一样,因此导致他们的方法也不一样。PCA得到的投影空间是协方差矩阵的特征向量,而LDA则是通过求得一个变换W,使得变换之后的新均值之差最大、方差最大(也就是最大化类间距离和最小化类内距离),变换W就是特征的投影方向。
阅读更多- Relief 特征选择算法简单介绍
- Spark机器学习之特征提取、选择、转换
- Spark_Mllib系列之二———提取,转化和特征选择
- 干货:结合Scikit-learn介绍几种常用的特征选择方法
- 结合Scikit-learn介绍几种常用的特征选择方法
- Spark2.0 特征提取、转换、选择之二:特征选择、文本处理,以中文自然语言处理(情感分类)为例
- Spark ML 之 特征选择,提取,转换工具
- 结合Scikit-learn介绍几种常用的特征选择方法
- 特征选择和特征提取
- 结合Scikit-learn介绍几种常用的特征选择方法
- Spark2.0 特征提取、转换、选择之一:数据规范化,String-Index、离散-连续特征相互转换
- 干货:结合Scikit-learn介绍几种常用的特征选择方法
- 机器学习算法选择——特征提取
- 特征选择与特征提取
- 结合Scikit-learn介绍几种常用的特征选择方法
- A Detailed Review of Feature Extraction in Image Processing Systems图像处理系统中特征提取的详细介绍
- 结合Scikit-learn介绍几种常用的特征选择方法
- 结合Scikit-learn介绍几种常用的特征选择方法
- 漫谈机器学习经典算法—特征提取与特征选择
- 结合Scikit-learn介绍几种常用的特征选择方法