python数据预处理之将类别数据转换为数值的方法
2017-07-05 09:16
686 查看
在进行python数据分析的时候,首先要进行数据预处理。
有时候不得不处理一些非数值类别的数据,嗯, 今天要说的就是面对这些数据该如何处理。
目前了解到的大概有三种方法:
1,通过LabelEncoder来进行快速的转换;
2,通过mapping方式,将类别映射为数值。不过这种方法适用范围有限;
3,通过get_dummies方法来转换。
import pandas as pd from io import StringIO csv_data = '''A,B,C,D 1,2,3,4 5,6,,8 0,11,12,''' df = pd.read_csv(StringIO(csv_data)) print(df) #统计为空的数目 print(df.isnull().sum()) print(df.values) #丢弃空的 print(df.dropna()) print('after', df) from sklearn.preprocessing import Imputer # axis=0 列 axis = 1 行 imr = Imputer(missing_values='NaN', strategy='mean', axis=0) imr.fit(df) # fit 构建得到数据 imputed_data = imr.transform(df.values) #transform 将数据进行填充 print(imputed_data) df = pd.DataFrame([['green', 'M', 10.1, 'class1'], ['red', 'L', 13.5, 'class2'], ['blue', 'XL', 15.3, 'class1']]) df.columns =['color', 'size', 'price', 'classlabel'] print(df) size_mapping = {'XL':3, 'L':2, 'M':1} df['size'] = df['size'].map(size_mapping) print(df) ## 遍历Series for idx, label in enumerate(df['classlabel']): print(idx, label) #1, 利用LabelEncoder类快速编码,但此时对color并不适合, #看起来,好像是有大小的 from sklearn.preprocessing import LabelEncoder class_le = LabelEncoder() color_le = LabelEncoder() df['classlabel'] = class_le.fit_transform(df['classlabel'].values) #df['color'] = color_le.fit_transform(df['color'].values) print(df) #2, 映射字典将类标转换为整数 import numpy as np class_mapping = {label: idx for idx, label in enumerate(np.unique(df['classlabel']))} df['classlabel'] = df['classlabel'].map(class_mapping) print('2,', df) #3,处理1不适用的 #利用创建一个新的虚拟特征 from sklearn.preprocessing import OneHotEncoder pf = pd.get_dummies(df[['color']]) df = pd.concat([df, pf], axis=1) df.drop(['color'], axis=1, inplace=True) print(df)
以上这篇python数据预处理之将类别数据转换为数值的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章推荐
- python数据预处理之将类别数据转换为数值的方法
- 利用python将json数据转换为csv格式的方法
- 17.2015.08.04第十八节课 C#2 (数值类型及调用、引用类型及调用、装拆箱、常量、变量、数据类型转换、算术运算符、赋值运算符、关系运算符、逻辑运算符、字符串的常用方法)
- 在Python的struct模块中进行数据格式转换的方法
- 在C#中将任意数值类型数据与字节数组相互转换的一个方法
- 三种利用Python批量处理地理数据的方法——以栅格数据投影转换为例
- Python 深度学习模型训练数据预处理 批文件重命名 os.listdir方法 os.rename方法 file.spilt方法
- Python (3)python中的数据类型转换,运算和运算符,数据类型检测方法
- 【原创】某些金额数据导出为文本格式,转换为数值的Excel 函数方法
- 基于python包scikit-learn的数据预处理方法
- python中常见的数据预处理方法
- python学习(三)---数值计算(矩阵,数据预处理)
- Python数据类型转换常用方法
- Python使用pandas扩展库DataFrame对象的pivot方法对数据进行透视转换
- python解决数据预处理:将KDDCPU99数据格式转换成libsvm可读的格式
- 在Python的struct模块中进行数据格式转换的方法
- dataset 中将 将2进制数组列的数据 转换成文件 和 从文件中 转换到 dataset 方法
- 把Sql数据转换为业务数据的几种方法
- 使用ASP.NET AJAX异步调用Web Service和页面中的类方法(10):服务器端和客户端数据类型的自动转换:以XML方式序列化数据、小结
- 使用ASP.NET AJAX异步调用Web Service和页面中的类方法(9):服务器端和客户端数据类型的自动转换:DataTable和DataSet