ASP Lucene.net(站内搜索,分词算法)
2018-01-16 11:39
369 查看
using Lucene.Net.Analysis; using Lucene.Net.Analysis.PanGu; using Lucene.Net.Analysis.Standard; using Lucene.Net.Documents; using Lucene.Net.Index; using Lucene.Net.Search; using Lucene.Net.Store; using NSharp.SearchEngine.Lucene.Analysis.Cjk; using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.IO; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Windows.Forms; namespace MyDemo.LuceneNetDemo { public partial class Form1 : Form { public Form1() { InitializeComponent(); } //Lucene.net相当于把数据库的数据又拷贝到Lucene.net中,搜索都是在Lucene.net中搜索。只支持文本搜索。 //一元分词。Lucene.Net.dll log4net.dll private void button1_Click(object sender, EventArgs e) { Analyzer analyzer = new StandardAnalyzer(); //StandardAnalyzer是一元分词的算法类。 TokenStream tokenStream = analyzer.TokenStream("", new StringReader("北京,Hi欢迎你们大家")); Lucene.Net.Analysis.Token token = null; while ((token = tokenStream.Next()) != null) { Console.WriteLine(token.TermText()); } } //二元分词。 CJKAnalyzer.cs CJKTokenizer.cs Lucene.Net.dll log4net.dll private void button2_Click(object sender, EventArgs e) { Analyzer analyzer = new CJKAnalyzer(); //CJKAnalyzer是二元分词算法类。不是Lucene.net自带的类,需要复制过来。 TokenStream tokenStream = analyzer.TokenStream("", new StringReader("北京,Hi欢迎你们大家")); Lucene.Net.Analysis.Token token = null; while ((token = tokenStream.Next()) != null) { Console.WriteLine(token.TermText()); } } //盘古算法(基于词库)。 PanGu.dll PanGu.Lucene.Analyzer.dll Dict词库文件(右击-属性-如果较新则复制) Lucene.Net.dll log4net.dll private void button3_Click(object sender, EventArgs e) { Analyzer analyzer = new PanGuAnalyzer(); TokenStream tokenStream = analyzer.TokenStream("", new StringReader("面向世界,面向现代化")); Lucene.Net.Analysis.Token token = null; while ((token = tokenStream.Next()) != null) { Console.WriteLine(token.TermText()); } } //添加索引(根据盘古算法将文档(新闻、商品)进行分词,将分到的分词(索引)和文档添加到Lucene.net中)(未考虑多线程并发) private void button4_Click(object sender, EventArgs e) { string indexPath = @"C:\lucenedir";//注意和磁盘上文件夹的大小写一致,否则会报错。将创建的分词内容放在该目录下。(索引目录) FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());//指定索引文件(打开索引目录) FS指的是就是FileSystem bool isUpdate = IndexReader.IndexExists(directory);//IndexReader:对索引进行读取的类。该语句的作用:判断索引库文件夹是否存在以及索引特征文件是否存在。 if (isUpdate) //如果文件存在 { //同时只能有一段代码对索引库进行写操作。当使用IndexWriter打开directory时会自动对索引库文件上锁。 //如果索引目录被锁定(比如索引过程中程序异常退出),则首先解锁(提示一下:如果我现在正在写着已经加锁了,但是还没有写完,这时候又来一个请求,那么不就解锁了吗?用队列解决,生产者消费者模式) if (IndexWriter.IsLocked(directory)) { IndexWriter.Unlock(directory); } } IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);//向索引库中写索引。这时在这里加锁。 for (int i = 1; i <= 10; i++) { string txt = File.ReadAllText(@"D:\要添加的(添加的新闻、商品)文件(检索文件)\" + i + ".txt", System.Text.Encoding.Default);//注意这个地方的编码。文档的文件名是1,2,3数字。 Document document = new Document();//表示一篇文档。(一个文件(新闻、商品)对应一个文档,文档由field(字段)组成,字段可以选择是否存储,是否进行分词) //Field.Store.YES:表示是否存储原值。只有当Field.Store.YES在后面才能用doc.Get("number")取出值来.Field.Index. NOT_ANALYZED:不进行分词保存 document.Add(new Field("number", i.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED)); //文档添加字段。自定义的number字段(列)存放的是检索文件的文件名:1,2,3....。NOT_ANALYZED表示不进行分词。 //Field.Index. ANALYZED:进行分词保存:也就是要进行全文的字段要设置分词 保存(因为要进行模糊查询) //Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS:不仅保存分词还保存分词的距离。 document.Add(new Field("body", txt, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS)); writer.AddDocument(document); } writer.Close();//会自动解锁。 directory.Close();//不要忘了Close,否则索引结果搜不到 } //搜索 private void button5_Click(object sender, EventArgs e) { string indexPath = @"C:\lucenedir"; //Lucene.net的文件路径。 string kw = "面向对象"; //用户输入的搜索词。Lucene.net会将"面向对象"当做一个整体,因此需要对用户输入的搜索条件进行拆分。 FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory()); IndexReader reader = IndexReader.Open(directory, true); IndexSearcher searcher = new IndexSearcher(reader); //搜索条件 PhraseQuery query = new PhraseQuery(); //foreach (string word in kw.Split(' '))//先用空格,让用户去分词,空格分隔的就是词“计算机 专业” //{ // query.Add(new Term("body", word)); //} //query.Add(new Term("body","语言"));--可以添加查询条件,两者是add关系.顺序没有关系. // query.Add(new Term("body", "大学生")); query.Add(new Term("body", kw));//body中含有kw的文章 query.SetSlop(100);//多个查询条件的词之间的最大距离.在文章中相隔太远 也就无意义.(例如 “大学生”这个查询条件和"简历"这个查询条件之间如果间隔的词太多也就没有意义了。) //TopScoreDocCollector是盛放查询结果的容器 TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true); searcher.Search(query, null, collector);//根据query查询条件进行查询,查询结果放入collector容器 ScoreDoc[] docs = collector.TopDocs(0, collector.GetTotalHits()).scoreDocs;//得到所有查询结果中的文档,GetTotalHits():表示总条数 TopDocs(300, 20);//表示得到300(从300开始),到320(结束)的文档内容. //可以用来实现分页功能 this.listBox1.Items.Clear(); //将查到的内容显示在ListBox中。 for (int i = 0; i < docs.Length; i++) { // //搜索ScoreDoc[]只能获得文档的id,这样不会把查询结果的Document一次性加载到内存中。降低了内存压力,需要获得文档的详细内容的时候通过searcher.Doc来根据文档id来获得文档的详细内容对象Document. int docId = docs[i].doc;//得到查询结果文档的id(Lucene内部分配的id) Document doc = searcher.Doc(docId);//找到文档id对应的文档详细信息 this.listBox1.Items.Add(doc.Get("number") + "\n");//取出放进number字段的值,文档的文件名:1,2,3... this.listBox1.Items.Add(doc.Get("body") + "\n"); //整个文档的内容。 this.listBox1.Items.Add("-----------------------\n"); } } } }
相关文章推荐
- Lucene.Net与盘古分词实现站内搜索
- 完整的站内搜索Demo(Lucene.Net+盘古分词)
- Lucene.net站内搜索—2、Lucene.Net简介和分词
- 利用Lucene.net搭建站内搜索(2)---分词技术
- 完整的站内搜索Demo(Lucene.Net+盘古分词)
- 利用Lucene.net搭建站内搜索(2)---分词技术
- Lucene.net 盘古分词 站内搜索
- 完整的站内搜索Demo(Lucene.Net+盘古分词)
- Lucene.net站内搜索2—Lucene.Net简介和分词
- 利用Lucene.net搭建站内搜索(2)---分词技术
- 利用Lucene.net搭建站内搜索(2)---分词技术
- 完整的站内搜索Demo(Lucene.Net+盘古分词)
- 站内搜索 lucenenet 和 pangu4lucene分词
- 完整的站内搜索Demo(Lucene.Net+盘古分词)
- 站内搜索--3--之Lucene.Net使用
- 基于lucene.net 和ICTCLAS2014的站内搜索的实现2
- 利用Lucene.net搭建站内搜索(3)---创建索引
- 基于ASP.NET的lucene.net全文搜索实现步骤
- 盘古分词在 Lucene.net 2.9 版本下搜索没有结果的原因分析及盘古分词2.0版本要开发的新功能
- Lucene.net站内搜索3—最简单搜索引擎代码