中文分词之Java实现使用IK Analyzer实现
2012-07-05 16:42
639 查看
IK Analyzer是基于lucene实现的分词开源框架,下载路径:http://code.google.com/p/ik-analyzer/downloads/list
需要在项目中引入:
IKAnalyzer.cfg.xml
IKAnalyzer2012.jar
lucene-core-3.6.0.jar
stopword.dic
什么都不用改
示例代码如下(使用IK Analyzer):
运行后结果:
基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|
使用(lucene)实现:
需要在项目中引入:
IKAnalyzer.cfg.xml
IKAnalyzer2012.jar
lucene-core-3.6.0.jar
stopword.dic
什么都不用改
示例代码如下(使用IK Analyzer):
package com.haha.test; import java.io.IOException; import java.io.StringReader; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import org.wltea.analyzer.lucene.IKAnalyzer; public class Test2 { public static void main(String[] args) throws IOException { String text="基于java语言开发的轻量级的中文分词工具包"; //创建分词对象 Analyzer anal=new IKAnalyzer(true); StringReader reader=new StringReader(text); //分词 TokenStream ts=anal.tokenStream("", reader); CharTermAttribute term=ts.getAttribute(CharTermAttribute.class); //遍历分词数据 while(ts.incrementToken()){ System.out.print(term.toString()+"|"); } reader.close(); System.out.println(); } }
运行后结果:
基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|
使用(lucene)实现:
package com.haha.test; import java.io.IOException; import java.io.StringReader; import org.wltea.analyzer.core.IKSegmenter; import org.wltea.analyzer.core.Lexeme; public class Test3 { public static void main(String[] args) throws IOException { String text="基于java语言开发的轻量级的中文分词工具包"; StringReader sr=new StringReader(text); IKSegmenter ik=new IKSegmenter(sr, true); Lexeme lex=null; while((lex=ik.next())!=null){ System.out.print(lex.getLexemeText()+"|"); } } }
相关文章推荐
- 中文分词之Java实现使用IK Analyzer实现
- 中文分词之Java实现使用IK Analyzer实现
- 使用IK Analyzer实现中文分词(JAVA)
- Java实现使用IK Analyzer实现中文分词
- 中文分词之Java实现使用IK Analyzer实现
- 中文分词之Java实现使用IK Analyzer实现
- 中文分词之Java实现使用IK Analyzer实现
- 中文分词之Java实现使用IK Analyzer实现
- 中文分词之Java实现使用IK Analyzer实现
- 中文分词之Java实现使用IK Analyzer实现
- 中文分词之Java实现使用IK Analyzer实现
- 使用IK Analyzer实现中文分词
- NLPIR中文分词系统之Java接口的使用
- Spark 大数据中文分词统计(二) Java语言实现分词统计
- IK Analyzer分词及词频统计Java简单实现
- 《解密搜索引擎技术实战:Lucene&Java精华版》---第四章中文分词原理与实现学习笔记(一)
- solr 实现 中文分词,IK Analyzer
- 关于使用中文分词工具ICTCLAS2013 Java版本乱码的问题
- 使用C++实现mmseg,对中文句子进行分词
- 使用Python+jieba和java+庖丁分词在Spark集群上进行中文分词统计