利用sklearn进行字典&文本的特征提取

写在前面

这篇博客主要内容：

1. 应用DictVectorizer实现对类别特征进行数值化、离散化
2. 应用CountVectorizer实现对文本特征进行数值化

特征提取API

sklearn.feature_extraction

字典特征提取

作用：对字典数据进行特征值化

• sklearn.feature_extraction.DictVectorizer(sparse=True,…) DictVectorizer.fit_transform(X) X:字典或者包含字典的迭代器返回值：返回sparse矩阵
• DictVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值:转换之前数据格式
• DictVectorizer.get_feature_names() 返回类别名称

# 数据
[{'city': '北京','temperature':100}
{'city': '上海','temperature':60}
{'city': '深圳','temperature':30}]

# 代码
from sklearn.feature_extraction import DictVectorizer

def dict_demo():
data = [{'city': '北京','temperature':100}, {'city': '上海','temperature':60}, {'city': '深圳','temperature':30}]
# 1、实例化一个转换器类
transfer  = DictVectorizer(sparse=False)
# 2、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new：\n",data_new)
# 打印特征名字
print("特征名字：\n",transfer.get_feature_names())

return None

注意

DictVectorizer

文本特征提取

作用：对文本数据进行特征值化

• sklearn.feature_extraction.text.CountVectorizer(stop_words=[])

  返回词频矩阵

# 数据
["life is short,i like python",
"life is too long,i dislike python"]

# 代码
from sklearn.feature_extraction.text import CountVectorizer

def count_demo():
data = ["life is short,i like like python", "life is too long,i dislike python"]
transfer  = CountVectorizer()
data_new = transfer.fit_transform(data)
print("data_new：\n",data_new.toarray())
print("特征名字：\n",transfer.get_feature_names())
return None

注意代码中的使用了

toarray()