【python】pd.get_dummies进行one-hot编码
2017-12-10 22:33
513 查看
离散特征的编码分为两种情况:
1、离散特征的取值之间没有大小的意义,比如color:[red,blue],那么就使用one-hot编码
2、离散特征的取值有大小的意义,比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}
常用于统计建模或机器学习的转换方式是:将分类变量(categorical variable)转换为“哑变量矩
阵”(dummy matrix)或“指标矩阵”(indicator matrix)。如果DataFrame的某一列中含有k个不同的
值,则可以派生出一个k列矩阵或DataFrame(其值全为1和0)。
使用pandas可以很方便的对离散型特征进行one-hot编码:
说明:对于有大小意义的离散特征,直接使用映射就可以了,{‘XL’:3,’L’:2,’M’:1}
1、离散特征的取值之间没有大小的意义,比如color:[red,blue],那么就使用one-hot编码
2、离散特征的取值有大小的意义,比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}
常用于统计建模或机器学习的转换方式是:将分类变量(categorical variable)转换为“哑变量矩
阵”(dummy matrix)或“指标矩阵”(indicator matrix)。如果DataFrame的某一列中含有k个不同的
值,则可以派生出一个k列矩阵或DataFrame(其值全为1和0)。
使用pandas可以很方便的对离散型特征进行one-hot编码:
import pandas as pd df = pd.DataFrame([ ['green', 'M', 10.1, 'class1'], ['red', 'L', 13.5, 'class2'], ['blue', 'XL', 15.3, 'class1']],columns = ['color', 'size', 'prize', 'class label']) size_mapping = { 'XL': 3, 'L': 2, 'M': 1} #print(df) #Series的map函数,将对应的values替代为size_mapping的数值。 df['size'] = df['size'].map(size_mapping) #print(set(df['class label'])) #set函数去重 #for idx,label in enumerate(set(df['class label'])): # print(idx,label) class_mapping = {label:idx for idx,label in enumerate(set(df['class label']))} #print(class_mapping) #在原df的条件下,更改color为不同的color_X,并去除原来的color df['cl 4000 ass label'] = df['class label'].map(class_mapping) print(pd.get_dummies(df)) print(df) ''' pd.get_dummies(df['size'],prefix = 'sss') 是对具体的某个列的不同数据 进行one-hot编码, prefix指定生成的列表头名称'sss_1\sss_2\sss_3'有几类就有几个'sss'列 如果pd.get_dummies(df)进行编码的对象不是Series对象,对整个dataframe对象来说的话, prefix不用指定,且会根据原columns的表头名称生成全部的非数字化的 ''' #如果用下面的方法,则会产生新的df,不是在原df的条件下,更改color,返回的仍然是df类型 df = pd.get_dummies(df['size'],prefix = 'sss') ''' 在量化实践中,一般会将收益标签添加到df整体中,然后从中取出来; 如果多分类标签,结合上述格式的pd.get_dummies正好将收益分类标签生成one-hot形式。 ''' print(df) dff = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'b'],'data1': range(6)}) print(pd.get_dummies(dff['key'])) ''' a b c 0 0.0 1.0 0.0 1 0.0 1.0 0.0 2 1.0 0.0 0.0 3 0.0 0.0 1.0 4 1.0 0.0 0.0 5 0.0 1.0 0.0 '''
说明:对于有大小意义的离散特征,直接使用映射就可以了,{‘XL’:3,’L’:2,’M’:1}
相关文章推荐
- pandas使用get_dummies进行one-hot编码
- pandas使用get_dummies进行one-hot编码
- pandas使用get_dummies进行one-hot编码
- pandas 下的 one hot encoder 及 pd.get_dummies() 与 sklearn.preprocessing 下的 OneHotEncoder 的区别
- pandas使用get_dummies进行one-hot编码的方法
- 数据预处理(2)—— One-hot coding 独热编码#分别使用 pandans.dummies 和 sklearn.feature_extraction.DictVectorizer 进行处理
- 7061-1.Python数据分析:利用get_dummies对类目型的特征因子化
- python requests 自动管理 cookie 。 get后进行post发送数据---》最简单的刷票
- python中get_dummies实践
- Python3中利用Urllib进行表单数据提交(Get,Post)
- 使用Numpy进行one-hot编码
- python对离散变量的one-hot编码
- python_pandas中的get_dummies使用
- python http.client 进行 get 跟 post 访问
- Python3中利用Urllib进行表单数据提交(Get,Post)
- Python3中利用Urllib进行表单数据提交(Get,Post)
- python对solr进行查询、插入操作(GET\POST)
- Ajax 进行Post传值和Get传值 (经典)
- Caffe的Python接口进行Cifar10可视化