Python/scikit-learn机器学习库(特征选取)
2015-11-09 21:16
741 查看
去除方差小的特征
设置一个方差阈值,没有达到这个方差阈值的特征都会被丢弃。
VarianceThreshold,算法输入只要求特征(X),不需要输入结果(Y)。
from sklearn.feature_selection import VarianceThreshold
X=[[feature1,feature2,…],…]
sel=VarianceThreshold(threshold=xx)
print(sel.fit_transform(X))
单变量特征选取
单变量特征提取的原理是分别计算每个特征的某个统计指标,根据该指标来选取特征。
SelectKBest、SelectPercentile,前者选择排名前k个的特征,后者选择排名在前k%的特征。选择的统计指标需要指定,对于regression问题,使用f_regression指标;对于classification问题,可以使用chi2或者f_classif指标。
from sklearn.feature_selection import SelectKBest,chi2
X_new=SelectKBest(chi2,k=2).fit_transform(test_X,test_Y)
False Positive Rate,假阳性率
chi2,卡方统计量,X中特征取值必须非负。卡方检验用来测度随机变量之间的依赖关系。通过卡方检验得到的特征之间是最可能独立的随机变量,因此这些特征的区分度很高。
循环特征选取
不单独地检验某个特征的价值,而是检验特征集的价值。对于一个数量为n的特征集合,子集的个数为2的n次方减一。通过指定一个学习算法,通过算法计算所有子集的error,选择error最小的子集作为选取的特征。
RFE
对初始特征集合中每个特征赋予一个初始权重。
训练,将权重最小的特征移除。
不断迭代,直到特征集合的数目达到预定值。
from sklearn.svm import SVC
from sklearn.feature_selection import RFE
//X为样本集合,每个样本为一个数组,数组元素为各个特征值,Y样本的评分
svc=SVC(kernel=”linear”,C=1)
rfe=RFE(estimator=svc,n_features_to_select=5,step=1)
X_new=rfe.fit_transform(X,Y)
RFECV
在RFE训练时,增加交叉验证。
L1-base
在线性回归模型中,每一个特征代表一个w,若得到的w系数等于或接近0,则说明这些特征不重要。
LinearSVC
参数C控制特征系数稀疏度,C的值越小,选择的特征数越少。
from sklearn.svm import LinearSVC
X_new=LinearSVC(C=0.01,penalty=”l1”,dual=False).fit_transform(x,y)
决策树特征选取
通过决策树可以计算特征的重要性,抛弃不太重要的特性。
from sklearn.ensemble import ExtraTreesClassifier
clf=ExtraTreesClassifier()
X_new=clf.fit(x,y).transform(x)
//各个特征重要性
print(clf.feature_importances)
sklearn分类数据
sklearn.datasets.make_classification用来随机产生一个多分类问题。
n_features=n_informative+n_redundant+n_repeated。
n_clusters_per_class 每个分类的集群数
import sklearn.datasets
(x,y)=make_classification(n_samples=,
n_features=,
n_informative=,
n_redundant=,
n_repeated=,
n_classes=,
random_state=,
shuffle=False
)
设置一个方差阈值,没有达到这个方差阈值的特征都会被丢弃。
VarianceThreshold,算法输入只要求特征(X),不需要输入结果(Y)。
from sklearn.feature_selection import VarianceThreshold
X=[[feature1,feature2,…],…]
sel=VarianceThreshold(threshold=xx)
print(sel.fit_transform(X))
单变量特征选取
单变量特征提取的原理是分别计算每个特征的某个统计指标,根据该指标来选取特征。
SelectKBest、SelectPercentile,前者选择排名前k个的特征,后者选择排名在前k%的特征。选择的统计指标需要指定,对于regression问题,使用f_regression指标;对于classification问题,可以使用chi2或者f_classif指标。
from sklearn.feature_selection import SelectKBest,chi2
X_new=SelectKBest(chi2,k=2).fit_transform(test_X,test_Y)
False Positive Rate,假阳性率
chi2,卡方统计量,X中特征取值必须非负。卡方检验用来测度随机变量之间的依赖关系。通过卡方检验得到的特征之间是最可能独立的随机变量,因此这些特征的区分度很高。
循环特征选取
不单独地检验某个特征的价值,而是检验特征集的价值。对于一个数量为n的特征集合,子集的个数为2的n次方减一。通过指定一个学习算法,通过算法计算所有子集的error,选择error最小的子集作为选取的特征。
RFE
对初始特征集合中每个特征赋予一个初始权重。
训练,将权重最小的特征移除。
不断迭代,直到特征集合的数目达到预定值。
from sklearn.svm import SVC
from sklearn.feature_selection import RFE
//X为样本集合,每个样本为一个数组,数组元素为各个特征值,Y样本的评分
svc=SVC(kernel=”linear”,C=1)
rfe=RFE(estimator=svc,n_features_to_select=5,step=1)
X_new=rfe.fit_transform(X,Y)
RFECV
在RFE训练时,增加交叉验证。
L1-base
在线性回归模型中,每一个特征代表一个w,若得到的w系数等于或接近0,则说明这些特征不重要。
LinearSVC
参数C控制特征系数稀疏度,C的值越小,选择的特征数越少。
from sklearn.svm import LinearSVC
X_new=LinearSVC(C=0.01,penalty=”l1”,dual=False).fit_transform(x,y)
决策树特征选取
通过决策树可以计算特征的重要性,抛弃不太重要的特性。
from sklearn.ensemble import ExtraTreesClassifier
clf=ExtraTreesClassifier()
X_new=clf.fit(x,y).transform(x)
//各个特征重要性
print(clf.feature_importances)
sklearn分类数据
sklearn.datasets.make_classification用来随机产生一个多分类问题。
n_features=n_informative+n_redundant+n_repeated。
n_clusters_per_class 每个分类的集群数
import sklearn.datasets
(x,y)=make_classification(n_samples=,
n_features=,
n_informative=,
n_redundant=,
n_repeated=,
n_classes=,
random_state=,
shuffle=False
)
相关文章推荐
- Python笔记
- python笔记-while循环中的知识点
- Python求解“八皇后”问题的递归思路
- Beaglebone Black(8)运用Python来进行控制IO,ADC,PWM
- 使用Python设置环境变量
- Python学习
- 小甲鱼:Python学习笔记003_函数
- python实现zabbix批量监控WEB网站和批量监控主机端口
- Python学习笔记-Day03 -第三部分(迭代器和生成简介)
- python生成随机密码
- python计算md5值
- Python学习笔记-Day03 -第二部分(双向队列-deque和单向队列Queue)
- python unicode中文输出文件错误解决
- python学习笔记-Day03 -第一部分(collections,Counter,defaultdict,namedtuple)
- Python的zip函数
- python中的数据类型与json的数据类型之间的转化
- Python 文件编码(文件乱码)
- python dic与str的相互转化
- Python核心数据类型——数字
- Python 常用函数time.strftime()简介