Python个人快速入门学习（九）jieba库的使用

九、jieba库的使用

1. jieba库：优秀的中文分词第三方库

-中文文本需要通过分词获得单个的词语

-jieba是第三方库，需要额外安装：

-pip install jieba

2. jieba分词的原理

-利用了一个中文词库，确定汉字之间的关联概率

-汉字间概率大的组成词组，形成分词结果

-除了分词，用户还可以添加自定义的词组

3.jieba分词的三种模式

-精确模式：把文本精确地分开，不存在冗余的单词

-全模式：把一段文本中所有可能的词语都扫描出来，存在冗余

-搜索引擎模式：在精确模式的基础上，对于长词进行再切分

4.jieba库常用函数

jieba.lcut(s)、jieba.lcut(s , cut_all=True)、jieba.lcut_for_search(s)

[code]import jieba
a = jieba.lcut("冬天到了春天还会远吗")                        #精确模式
b = jieba.lcut("冬天到了春天还会远吗" , cut_all=True)         #全模式
c = jieba.lcut_for_search("中华人民共和国是一个伟大的国家")    #搜索引擎模式
print(a)
print(b)
print(c)
#输出：
['冬天', '到', '了', '春天', '还会', '远', '吗']
['冬天', '到', '了', '春天', '还', '会', '远', '吗']
['中华', '华人', '人民', '共和', '共和国', '中华人民共和国', '是', '一个', '伟大', '的', '国家']

还可以向分词词典中添加新词：jieba.add_word(s)

[code]jieba.add_word("dzzhyk")
a = jieba.lcut("dzzhyk是一名学生")
print(a)
#输出：
['dzzhyk', '是', '一名', '学生']