2、 python文本关键词提取实现（案例）

第一、理论准备

1交叉计数函数

pivot_table(value,index,columns,aggfunc,fill_value)

# 参数说明

values:数据透视表中的值
index：数据透视表中的行（索引）
columns；数据透视表中的列
aggfunc：统计函数
fill_value：NA值的统一替换。

# 返回只说明：
   数据透视表的结果

2 IDF 公式的实现程序：
IDF=log（文档总数/(包含该词的文档数)+1）

代码实现：
def hanlder(x):
return(numpy.log2(len(corpos)/(numpy.sum(x>0)+1)))

IDF=TF.apply(hanlder)

# 词频 TF

# 逆文档频率 IDF 是一个词的权重，它的大小与一个词的常见程度成反比

IDF=log（文档总数/(包含该词的文档数)+1）

# TF-IDF  权衡某个分词是否是关键词的指标，该值越大，是关键词的可能性也就越大。

TF-IDF=TF*IDF

第二、案例代码实践

[code]
# 搭建语料库

import os
import os.path
import codecs

filepaths = [];
filecontents = [];
for root, dirs, files in os.walk(
"D:\\database\\python\\2.7\\mini\\Sample"
):
for name in files:
filepath = os.path.join(root,name);
filepaths.append(filepath);
f = codecs.open(filepath,'r','utf-8');
filecontent = f.read()
f.close()
filecontents.append(filecontent)

import pandas;
corpos = pandas.DataFrame({
'filepath':filepaths,
'filecontent':filecontents
});

#词频分词

import re
# 匹配中文的分词
zhPattern = re.compile(u'[\u4e00-\u9fa5]+')
import jieba
segments = []
filepaths = []

for root, row in corpos.iterrows():
filepath = row['filepath']
filecontent =row['filecontent']
segs = jieba.cut(filecontent)
for seg in segs:

if  zhPattern.search(seg):
segments.append(seg);
filepaths.append(filepath);
segmentDF=pandas.DataFrame({
'segment':segments,
'filepath':filepaths});

# 移除停用词

stopwords= pandas.read_csv(
'D:\\database\\python\\2.7\\StopwordsCN.txt',
encoding='utf-8',
index_col=False,
quoting=3,
sep="\t")
segmentDF=segmentDF[
~segmentDF.segment.isin(stopwords.stopword)]

# 词频统计

import numpy;

segstat = segmentDF.groupby(
by=["segment","filepath"])["segment"].agg({
"计数":numpy.size
}).reset_index().sort_values(
'计数',
ascending=False)
#删除小部分数据
segstat=segstat[segstat.计数>1]

# 进行文本向量统计

TF=segstat.pivot_table(
values='计数',
index='filepath',
columns='segment',
fill_value=0
)
TF.index
TF.columns

def hanlder(x):
return(numpy.log2(len(corpos)/(numpy.sum(x>0)+1)))

IDF=TF.apply(hanlder)

TF_IDF=pandas.DataFrame(TF*IDF)

tag1s=[]
tag2s=[]
tag3s=[]
tag4s=[]
tag5s=[]

for filepath in TF_IDF.index:
tags=TF_IDF.loc[filepath].sort_values(
ascending=False
)[:5].index
tag1s.append(tags[0])
tag2s.append(tags[1])
tag3s.append(tags[2])
tag4s.append(tags[3])
tag5s.append(tags[4])
tagDF = pandas.DataFrame({
'filepath':corpos.filepath,
'filecontent':corpos.filecontent,
#### 注意这块必须锁定是corops里边的数据
###否则，因为调取长度导致错误
'tag1':tag1s,
'tag2':tag2s,
'tag3':tag3s,
'tag4':tag4s,
'tag5':tag5s
});