Lucene使用单字分词及短语查询实现类似全模糊查询效果

      Lucene使用全模糊查询效率慢，现通过单字分词，及短语查询的方式达到类似效果，并极大的提高效率。

      预期分词效果：

中华人员共和国Chinese，Come On——>中/华/人/民/共/和/国/C/h/i/n/e/s/e/，/C/o/m/e/ /O/n。

      缺点：索引文件中存在大数据量的数字和英文时，用数字或英文查询效率慢。

一、新建MyNGramAnalyzer类，实现单字分词器

public final class MyNGramAnalyzer extends Analyzer {
private Version version;
public MyNGramAnalyzer(Version version) {
this.version = version;
}
protected TokenStreamComponents createComponents(final String fieldName, final Reader reader) {

/*new NGramTokenizer(version, reader, minGram, maxGram)实现单字分词，minGram:最小分词数，maxGram:最大分词数

* 这里都用1，表示对每个字符都分词

*/
return new TokenStreamComponents(new NGramTokenizer(version, reader, 1, 1));
}
}

二、使用MyNGramAnalyzer分词器建立索引

public static void main(String[] args) {

	try {
//索引存放路径
Directory dir = FSDirectory.open(new File("d:/tool/index"));
//lucene版本，这里用的4.5
Version version = Version.LUCENE_45;
IndexWriterConfig iwc = new IndexWriterConfig(version,new MyNGramAnalyzer(version));
/*
索引的创建模式，CREATE:删除原索引并新建；
CREATE_OR_APPEND：如果原索引存在，就添加，不存在就新建
APPEND：在原索引上添加
*/
iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);
IndexWriter writer = new IndexWriter(dir, iwc);

//一个Document就代表一条数据
Document document1 = new Document();
document1.add(new TextField("aaa","中华人员共和国Chinese，Come On", Field.Store.YES));

Document document2 = new Document();

document2.add(new TextField("bbb","中国Chinese", Field.Store.YES));

writer.addDocument(document1);

writer.addDocument(document2);

writer.commit();  

writer.close();        

} catch (IOException e) {            

e.printStackTrace();        

}

}    

三、使用phraseQuery查询索引

public static void main(String[] args) {//分词查询query
PhraseQuery pq = new PhraseQuery();
//查询条件
String queryParam = "和国Chinese，";
List<String> strList = new ArrayList<String>();
//将查询条件中的每个字放到PhraseQuery中
for(int i=0;i<queryParam.length();i=i+1){
String s = queryParam.substring(i,(i+1)>queryParam.length()?queryParam.length():(i+1));
pq.add(new Term("aaa",s));
}
//开始查询
try {
DirectoryReader directoryReader = DirectoryReader.open(FSDirectory.open(new File("d:/tool/index")));
IndexSearcher indexSearcher  = new IndexSearcher(directoryReader);
//第一参数为query，第二个为查询条数
TopDocs hits =  indexSearcher.search(pq,10);
for (int i=0; i<hits.totalHits; i++) {
Document doc = indexSearcher.doc(hits.scoreDocs[i].doc);
System.out.println(doc.get("aaa"));
}
} catch (IOException e) {
e.printStackTrace();
}
}

输出结果：中华人员共和国Chinese，Come On