sklearn中的数据预处理——标准化\最小-最大规范化\特征标签二值化\异常值\标签编码等
2017-07-17 20:15
1226 查看
详细见:详见http://d0evi1.com/sklearn/preprocessing/
标准化
变换后各维特征有0均值,单位方差。也叫z-score规范化(零均值规范化)。计算方式是将特征值减去均值,除以标准差。
from sklearn.preprocessing import scale
X = np.array([[ 1., -1., 2.],[ 2., 0., 0.],[ 0., 1., -1.]])
scale(X)
一般会把train和test集放在一起做标准化,或者在train集上做标准化后,用同样的标准化器去标准化test集,此时可以用scaler
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler().fit(train)
scaler.transform(train)
scaler.transform(test)
最小-最大规范化
最小-最大规范化对原始数据进行线性变换,变换到[0,1]区间(也可以是其他固定最小最大值的区间)
min_max_scaler = sklearn.preprocessing.MinMaxScaler()
min_max_scaler.fit_transform(X_train)
规范化:正则化
规范化是将不同变化范围的值映射到相同的固定范围,常见的是[0,1],此时也称为归一化。《机器学习》周志华
X = [[ 1, -1, 2],[ 2, 0, 0], [ 0, 1, -1]]
sklearn.preprocessing.normalize(X, norm='l2')
array([[ 0.40, -0.40, 0.81], [ 1, 0, 0], [ 0, 0.70, -0.70]])
可以发现对于每一个样本都有,0.4^2+0.4^2+0.81^2=1,这就是L2 norm,变换后每个样本的各维特征的平方和为1。类似地,L1 norm则是变换后每个样本的各维特征的绝对值和为1。还有max norm,则是将每个样本的各维特征除以该样本各维特征的最大值。
在度量样本之间相似性时,如果使用的是二次型kernel,需要做Normalization
特征二值化
给定阈值,将特征转换为0/1
binarizer = sklearn.preprocessing.Binarizer(threshold=1.1)
binarizer.transform(X)
标签二值化
from sklearn import preprocessing
lb = preprocessing.LabelBinarizer()
lb.fit([1, 2, 6, 4, 2])
lb.classes_
array([1, 2, 4, 6])
lb.transform([1, 6])#必须[1, 2, 6, 4, 2]里面
array([[1, 0, 0, 0],
[0, 0, 0, 1]])
类别特征编码
标签编码
含有异常值
sklearn.preprocessing.robust_scale
生成多项式
原始特征转化后
poly = sklearn.preprocessing.PolynomialFeatures(2)
poly.fit_transform(X)
http://shujuren.org/article/234.html
相关文章推荐
- 【原】关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 平均数编码:针对高基数定性特征(类别特征)的数据预处理/特征工程
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 平均数编码:针对高基数定性特征(类别特征)的数据预处理/特征工程
- 使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 【机器学习】【数据预处理】数据的规范化,归一化,标准化,正则化
- sklearn进行数据预处理-归一化/标准化/正则化
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 标准化、规范化、二值化等多种机器学习数据预处理方法
- 【原】关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 【数据挖掘】【笔记】数据预处理之类别特征编码