搜索引擎–Python下的分词插件 jieba 结巴分词
2013-10-01 00:30
281 查看
主机平台:Ubuntu 13.04Python版本:2.7.4转载请标明:http://blog.geekcome.com/archives/110
jieba分词满足了Pyhon下对高效率高准确率进行中文分词的要求,是一款很不错的开源分词组建。并且支持繁体字和自定义短语以提高分词的准确性。分词支持三种模式: a,精确模式,试图将句子最精确地切开,适合文本分析;
b,全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
c,搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
结巴分词组建的安装:git clone https://github.com/fxsjy/jieba.gitcd jiebapython setup.py buildpython setup.py install调用接口:
组件只提供jieba.cut 方法用于分词
cut方法接受两个输入参数:
1) 第一个参数为需要分词的字符串
2) cut_all参数用来控制分词模式
待分词的字符串可以是gbk字符串、utf-8字符串或者unicode
jieba.cut返回的结构是一个可迭代的generator,可以使用for循环来获得分词后得到的每一个词语(unicode),也可以用list(jieba.cut(…))转化为list
Python的使用实例:#!/usr/bin/env python
# -*- coding:utf-8 -*-
import jieba
text = ‘工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作’
default_mode = jieba.cut(text)
full_mode = jieba.cut(text,cut_all=True)
search_mode = jieba.cut_for_search(text)
print “精确模式:”,”/”.join(default_mode)
print “全模式:”,”/”.join(full_mode)
print “搜索引擎模式:”,”/”.join(search_mode)分词结果执行如下:
jieba分词满足了Pyhon下对高效率高准确率进行中文分词的要求,是一款很不错的开源分词组建。并且支持繁体字和自定义短语以提高分词的准确性。分词支持三种模式: a,精确模式,试图将句子最精确地切开,适合文本分析;
b,全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
c,搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
结巴分词组建的安装:git clone https://github.com/fxsjy/jieba.gitcd jiebapython setup.py buildpython setup.py install调用接口:
组件只提供jieba.cut 方法用于分词
cut方法接受两个输入参数:
1) 第一个参数为需要分词的字符串
2) cut_all参数用来控制分词模式
待分词的字符串可以是gbk字符串、utf-8字符串或者unicode
jieba.cut返回的结构是一个可迭代的generator,可以使用for循环来获得分词后得到的每一个词语(unicode),也可以用list(jieba.cut(…))转化为list
Python的使用实例:#!/usr/bin/env python
# -*- coding:utf-8 -*-
import jieba
text = ‘工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作’
default_mode = jieba.cut(text)
full_mode = jieba.cut(text,cut_all=True)
search_mode = jieba.cut_for_search(text)
print “精确模式:”,”/”.join(default_mode)
print “全模式:”,”/”.join(full_mode)
print “搜索引擎模式:”,”/”.join(search_mode)分词结果执行如下:
相关文章推荐
- python 结巴分词(jieba)学习
- python 结巴分词(jieba)学习
- python 结巴分词(jieba)学习
- python jieba 结巴分词报错 AttributeError: 'module' object has no attribute 'cut'
- python 结巴分词(jieba)学习
- python调用jieba(结巴)分词 加入自定义词典和去停用词功能
- python下结巴分词(jieba)学习笔记
- python 结巴分词(jieba)学习
- python 3.x 结巴(jieba)分词基础知识
- 使用python 的结巴(jieba)库进行中文分词
- python "结巴"分词(jieba)
- jieba(结巴)—— Python 中文分词
- python 结巴分词(jieba)学习
- python 结巴分词(jieba)学习
- python 结巴分词(jieba)学习
- 【调试】jieba结巴分词功能在python 3上运行代码
- python 结巴分词(jieba)学习
- jieba(结巴)Python分词器加载到Eclipse方法
- python结巴分词、jieba加载停用词表
- python 结巴分词(jieba)学习