lucene---中文分词IKAnalyzer和高亮highlighter的使用

最近lucene已经更新到lucene 3.0版本了 2.X版本的一些用法已经彻底不在支持了。 
下面的例子主要是介绍中文分词器IKAnalyzer的使用和Lucene高亮显示。 
lucene 3.x版本中有些2.x方法已经完全被剔除了，这里会捎带一下3.x的用法，当然我这里用的还是2.X的版本。 
lucene自带的分词方式对中文分词十分的不友好，基本上可以用惨不忍睹来形容，所以这里推荐使用IKAnalyzer进行中文分词。 
IKAnalyzer分词器是一个非常优秀的中文分词器。 
下面是官方文档上的介绍 
采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。 
采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。 
优化的词典存储，更小的内存占用。支持用户词典扩展定义. 
针对Lucene全文检索优化的查询分析器 
IKQueryParser(作者吐血推荐)；采用歧义分析算法优化查询关键字的搜索排列组合，能极大的提高Lucene检索的命中率。 
1.IKAnalyzer的部署：将IKAnalyzer3.X.jar部署于项目的lib目录中；IKAnalyzer.cfg.xml与ext_stopword.dic文件放置在代码根目录下即可。 
ok 部署完IKAnalyzer我们先来测试一下 

Java代码  


package demo.test;  

  

import java.io.IOException;  

import java.io.StringReader;  

  

import org.apache.lucene.analysis.Analyzer;  

import org.apache.lucene.analysis.TokenStream;  

import org.apache.lucene.analysis.tokenattributes.TermAttribute;  

import org.apache.lucene.analysis.tokenattributes.TypeAttribute;  

import org.wltea.analyzer.lucene.IKAnalyzer;  

  

public class TestIKAnalyzer {  

      

    public static void main(String[] args) throws IOException {  

        Analyzer analyzer = new IKAnalyzer();  

        TokenStream tokenStream = analyzer.tokenStream("", new StringReader("永和服装饰品有限公司"));  

        //2.x写法 3.0之后不支持了  

        /*Token token =new Token(); 

        while(tokenStream.next(token)!=null){ 

            System.out.println(token.term()); 

        }*/  

        //3.x的写法  

        TermAttribute termAtt = (TermAttribute) tokenStream.getAttribute(TermAttribute.class);   

        TypeAttribute typeAtt = (TypeAttribute) tokenStream.getAttribute(TypeAttribute.class);   

  

        while (tokenStream.incrementToken()) {   

            System.out.print(termAtt.term());   

            System.out.print(' ');   

            System.out.println(typeAtt.type());   

        }   

    }  

  

}  

分词结果 永和 和服 服装 装饰品 装饰 饰品 有限公司 有限 公司 

2.我们开始采用IKAnalyzer创建索引 

Java代码  


package demo.test;  

  

import java.io.BufferedReader;  

import java.io.File;  

import java.io.FileInputStream;  

import java.io.IOException;  

import java.io.InputStreamReader;  

  

import org.apache.lucene.analysis.Analyzer;  

import org.apache.lucene.document.Document;  

import org.apache.lucene.document.Field;  

import org.apache.lucene.index.IndexWriter;  

import org.wltea.analyzer.lucene.IKAnalyzer;  

  

public class CreatIndex {  

  

    @SuppressWarnings("deprecation")  

    public static void main(String[] args) throws IOException {  

        String path = "index";//索引目录  

        Analyzer analyzer = new IKAnalyzer();//采用的分词器  

        IndexWriter iwriter = new IndexWriter(path, analyzer, true);    

        File dir = new File("data");//待索引的数据文件目录  

        File[] files = dir.listFiles();  

        for(int i=0;i<files.length;i++){  

            Document doc = new Document();  

            File file = files[i];  

            FileInputStream fis = new FileInputStream(file);  

            String content = "";  

            BufferedReader reader = new BufferedReader(new InputStreamReader(fis));  

              

            StringBuffer buffer = new StringBuffer("");  

            content = reader.readLine();  

            while (content != null) {  

                buffer.append(content);  

                content = reader.readLine();  

            }  

            doc.add(new Field("title",file.getName(),Field.Store.YES,Field.Index.ANALYZED));  

            doc.add(new Field("content",buffer.toString(),Field.Store.YES,Field.Index.ANALYZED));  

            iwriter.addDocument(doc);  

        }  

        iwriter.close();  

    }  

  

}  

3.对索引进行查询并进行高亮highlighter处理 

Java代码  


package demo.test;  

  

import java.io.File;  

import java.io.IOException;  

import java.io.StringReader;  

  

import org.apache.lucene.analysis.Analyzer;  

import org.apache.lucene.analysis.TokenStream;  

import org.apache.lucene.document.Document;  

import org.apache.lucene.index.Term;  

import org.apache.lucene.search.IndexSearcher;  

import org.apache.lucene.search.Query;  

import org.apache.lucene.search.ScoreDoc;  

import org.apache.lucene.search.TermQuery;  

import org.apache.lucene.search.TopDocs;  

import org.apache.lucene.search.highlight.Highlighter;  

import org.apache.lucene.search.highlight.InvalidTokenOffsetsException;  

import org.apache.lucene.search.highlight.QueryScorer;  

import org.apache.lucene.search.highlight.SimpleFragmenter;  

import org.apache.lucene.search.highlight.SimpleHTMLFormatter;  

import org.apache.lucene.store.Directory;  

import org.apache.lucene.store.FSDirectory;  

import org.wltea.analyzer.lucene.IKAnalyzer;  

  

public class TestHighlighter {  

  

    @SuppressWarnings("deprecation")  

    public static void main(String[] args) throws IOException, InvalidTokenOffsetsException {  

        String path = "index";//索引目录  

        Directory dir = FSDirectory.getDirectory(new File(path));  

        IndexSearcher search = new IndexSearcher(dir);  

        Term term = new Term("content","纯粹");  

        Query query = new TermQuery(term);  

        TopDocs topDocs = search.search(query, 10);  

        ScoreDoc[] hits = topDocs.scoreDocs;  

        //正常产生的查询  

        for(int i=0;i<hits.length;i++){  

            Document doc = search.doc(hits[i].doc);  

            System.out.print(doc.get("title")+":");  

            System.out.println(doc.get("content"));  

        }  

        //高亮设置  

        Analyzer analyzer = new IKAnalyzer();//设定分词器  

        SimpleHTMLFormatter simpleHtmlFormatter = new SimpleHTMLFormatter("<B>","</B>");//设定高亮显示的格式，也就是对高亮显示的词组加上前缀后缀  

        Highlighter highlighter = new Highlighter(simpleHtmlFormatter,new QueryScorer(query));  

        highlighter.setTextFragmenter(new SimpleFragmenter(150));//设置每次返回的字符数.想必大家在使用搜索引擎的时候也没有一并把全部数据展示出来吧，当然这里也是设定只展示部分数据  

        for(int i=0;i<hits.length;i++){  

            Document doc = search.doc(hits[i].doc);  

            TokenStream tokenStream = analyzer.tokenStream("",new StringReader(doc.get("content")));  

            String str = highlighter.getBestFragment(tokenStream, doc.get("content"));  

            System.out.println(str);  

        }  

    }  

  

}  

大家可以看到对于关键词的数据已经进行高亮处理了。 “中后期，不少群组改名<B>纯粹</B>是赶潮流和恶搞。”