hanlp for elasticsearch(基于hanlp的es分词插件)
2017-08-07 00:00
441 查看
摘要: elasticsearch是使用比较广泛的分布式搜索引擎,es提供了一个的单字分词工具,还有一个分词插件ik使用比较广泛,hanlp是一个自然语言处理包,能更好的根据上下文的语义,人名,地名,组织机构名等来切分词
elasticsearch-analysis-hanlp插件地址:https://github.com/pengcong90/elasticsearch-analysis-hanlp
Elasticsearch
默认分词
输出:
IK:
输出:
hanlp:
输出:
ik分词没有根据句子的含义来分词,hanlp能根据语义正确的切分出词
安装步骤:
1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp,下载插件并解压到es的plugins目录下,修改analysis-hanlp目录下的hanlp.properties文件,修改root的属性,值为analysis-hanlp下的data
目录的地址
2、修改es config目录下的jvm.options文件,最后一行添加
-Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy
重启es
GET /_analyze?analyzer=hanlp-index&pretty=true
{
"text":"张柏芝士蛋糕店"
}
测试是否安装成功
analyzer有hanlp-index(索引模式)和hanlp-smart(智能模式)
自定义词典:
修改plugins/analysis-hanlp/data/dictionary/custom下的 我的词典.txt文件
格式遵从[单词] [词性A] [A的频次]
修改完后删除同目录下的CustomDictionary.txt.bin文件
重启es服务
目前仅支持5.x版本
注意在mac下5.5.1版本的es中,要删除plugins中.DS_Store隐藏文件,否则启动会报错
elasticsearch-analysis-hanlp插件地址:https://github.com/pengcong90/elasticsearch-analysis-hanlp
Elasticsearch
默认分词
输出:
IK:
输出:
hanlp:
输出:
ik分词没有根据句子的含义来分词,hanlp能根据语义正确的切分出词
安装步骤:
1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp,下载插件并解压到es的plugins目录下,修改analysis-hanlp目录下的hanlp.properties文件,修改root的属性,值为analysis-hanlp下的data
目录的地址
2、修改es config目录下的jvm.options文件,最后一行添加
-Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy
重启es
GET /_analyze?analyzer=hanlp-index&pretty=true
{
"text":"张柏芝士蛋糕店"
}
测试是否安装成功
analyzer有hanlp-index(索引模式)和hanlp-smart(智能模式)
自定义词典:
修改plugins/analysis-hanlp/data/dictionary/custom下的 我的词典.txt文件
格式遵从[单词] [词性A] [A的频次]
修改完后删除同目录下的CustomDictionary.txt.bin文件
重启es服务
目前仅支持5.x版本
注意在mac下5.5.1版本的es中,要删除plugins中.DS_Store隐藏文件,否则启动会报错
相关文章推荐
- hanlp for elasticsearch(基于hanlp的es分词插件)
- Elasticsearch之插件es ik配置自定义中文分词词典
- ElasticSearch之——Java操作ES实例(基于ES-2.3.0)
- elasticsearch插件六—— 分词 IK analyzer插件安装详解
- 各种基于es的分词插件
- Elasticsearch For Apache Hadoop (ES-Hadoop)最新介绍
- Elasticsearch range 查询 ES 5.x TODO
- 给Elasticsearch 5.2.2 设置用户权限 how to setting security for elasticsearch on windows
- Java Jest for Elasticsearch
- Lazy Load - jQuery plugin for lazy loading images(基于jQuery的图片延迟加载插件)
- Query DSL for elasticsearch Query
- elasticsearch5.4.2安装以及插件head的安装过程
- 转:基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
- Elasticsearch之插件扩展
- elasticsearch could reserve enough space for object heap
- elasticsearch系列一:elasticsearch(ES简介、安装&配置、集成Ikanalyzer)
- es配置拼音分词插件lc-pinyin安装教程
- elasticsearch for java【教程一Client】
- elasticsearch for java 认证连接
- ES权威指南_01_get start_01 You Know, for Search…