使用Lucene对预处理后的文档进行创建索引(可运行)
2015-03-18 15:37
381 查看
时间:
2015/3/18
杨鑫newlife
对于文档的预处理后,就要开始使用Lucene来处理相关的内容了。
这里使用的Lucene的步骤如下:
首先要为处理对象机那里索引
二是构建查询对象
三是在索引中查找
这里的代码是处理创建索引的部分
代码:
package ch2.lucenedemo.process;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import jeasy.analysis.MMAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Field.Index;
import org.apache.lucene.index.IndexWriter;
public class IndexProcessor {
//成员变量,存储创建的索引文件存放的位置
private String INDEX_STORE_PATH = "E:\\Lucene项目\\索引目录";
//创建索引
public void createIndex(String inputDir){
try
{
System.out.println("程序开始运行,正在创建索引->->->->->");
IndexWriter writer = new IndexWriter(INDEX_STORE_PATH, new MMAnalyzer(), true);
File filesDir = new File(inputDir);
//取得所有需要建立索引的文件数组
File[] files = filesDir.listFiles();
//遍历数组
for(int i = 0; i < files.length; i++){
//获取文件名
String fileName = files[i].getName();
//判断文件是否为txt类型的文件
if(fileName.substring(fileName.lastIndexOf(".")).equals(".txt")){
//创建一个新的Document
Document doc = new Document();
System.out.println("正在为文件名创建索引->->->->");
//为文件名创建一个Field
Field field = new Field("filename", files[i].getName(), Field.Store.YES, Field.Index.TOKENIZED);
doc.add(field);
System.out.println("正在为文件内容创建索引->->->->");
//为文件内容创建一个Field
field = new Field("content", loadFileToString(files[i]), Field.Store.NO, Field.Index.TOKENIZED);
doc.add(field);
//把Document加入到IndexWriter
writer.addDocument(doc);
}
}
writer.close();
System.out.println("程序创建结束->->->->");
}catch(Exception e){
e.printStackTrace();
}
}
/*
* 从文件中把内容读取出来,所有的内容就放在一个String中返回
* */
public String loadFileToString(File file){
try{
BufferedReader br = new BufferedReader(new FileReader(file));
StringBuffer sb = new StringBuffer();
String line= br.readLine();
while(line != null){
sb.append(line);
line = br.readLine();
}
br.close();
return sb.toString();
}catch(IOException e){
e.printStackTrace();
return null;
}
}
public static void main(String[] args){
IndexProcessor ip = new IndexProcessor();
ip.createIndex("E:\\Lucene项目\\目标文件");
}
}
2015/3/18
杨鑫newlife
对于文档的预处理后,就要开始使用Lucene来处理相关的内容了。
这里使用的Lucene的步骤如下:
首先要为处理对象机那里索引
二是构建查询对象
三是在索引中查找
这里的代码是处理创建索引的部分
代码:
package ch2.lucenedemo.process;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import jeasy.analysis.MMAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Field.Index;
import org.apache.lucene.index.IndexWriter;
public class IndexProcessor {
//成员变量,存储创建的索引文件存放的位置
private String INDEX_STORE_PATH = "E:\\Lucene项目\\索引目录";
//创建索引
public void createIndex(String inputDir){
try
{
System.out.println("程序开始运行,正在创建索引->->->->->");
IndexWriter writer = new IndexWriter(INDEX_STORE_PATH, new MMAnalyzer(), true);
File filesDir = new File(inputDir);
//取得所有需要建立索引的文件数组
File[] files = filesDir.listFiles();
//遍历数组
for(int i = 0; i < files.length; i++){
//获取文件名
String fileName = files[i].getName();
//判断文件是否为txt类型的文件
if(fileName.substring(fileName.lastIndexOf(".")).equals(".txt")){
//创建一个新的Document
Document doc = new Document();
System.out.println("正在为文件名创建索引->->->->");
//为文件名创建一个Field
Field field = new Field("filename", files[i].getName(), Field.Store.YES, Field.Index.TOKENIZED);
doc.add(field);
System.out.println("正在为文件内容创建索引->->->->");
//为文件内容创建一个Field
field = new Field("content", loadFileToString(files[i]), Field.Store.NO, Field.Index.TOKENIZED);
doc.add(field);
//把Document加入到IndexWriter
writer.addDocument(doc);
}
}
writer.close();
System.out.println("程序创建结束->->->->");
}catch(Exception e){
e.printStackTrace();
}
}
/*
* 从文件中把内容读取出来,所有的内容就放在一个String中返回
* */
public String loadFileToString(File file){
try{
BufferedReader br = new BufferedReader(new FileReader(file));
StringBuffer sb = new StringBuffer();
String line= br.readLine();
while(line != null){
sb.append(line);
line = br.readLine();
}
br.close();
return sb.toString();
}catch(IOException e){
e.printStackTrace();
return null;
}
}
public static void main(String[] args){
IndexProcessor ip = new IndexProcessor();
ip.createIndex("E:\\Lucene项目\\目标文件");
}
}
相关文章推荐
- 使用Lucene对预处理后的文档进行创建索引(可执行)
- lucene-创建文档索引处理框架
- lucene使用IKAnalyzer3.2.5中文分词器进行索引的一个小例子
- 【Lucene4.8教程之一】使用Lucene4.8进行索引及搜索的基本操作 2014-06-11 10:47 3130人阅读 评论(1) 收藏
- 用Lucene对文档进行索引搜索
- 利用Lucene对大文件进行预处理(可运行)
- 【Lucene4.8教程之一】使用Lucene4.8进行索引及搜索的基本操作
- Lucene.Net核心类简介,创建索引,搜索,Lucene高亮组建演示,Rss获得最新帖子,只索引帖子的有意义部分,在AddDocument之前先移除旧有文档.
- lucene series 2 document 文档 索引创建 基本索引操作
- 使用Lucene.Net 3.0.3进行文件索引和检索
- Lucene索引创建及使用方法
- 使用org.apache.lucene创建和查询索引核心代码详解
- 【Lucene4.8教程之一】使用Lucene4.8进行索引及搜索的基本操作
- 使用xml来创建excel文档,运行时无需excel
- lucene使用IKAnalyzer3.2.8中文分词器进行索引的一个小例子
- 使用lucene3.6创建索引和实现简单搜索
- 使用Lucene对建立的索引进行搜索
- Lucene使用Sort方法对文档进行排序
- 【Lucene4.8教程之一】使用Lucene4.8进行索引及搜索的基本操作
- 【Lucene4.8教程之一】使用Lucene4.8进行索引及搜索的基本操作