nutch集成中文分词搜索时出现空白页解决方法
2010-10-04 12:33
471 查看
最近在研究nutch,我根据网上教程用插件方法把中文分词集成到nutch1.2中,运行爬虫可以,但把项目ant成war后,在网页中搜索索引里没有的词时能显示页面,但如果搜索索引里有的词语就会出现一个空白页,什么也没有,tomcat的控制台能显示出搜索结果,也没报错。于是我就一点一点地把新增代码移除,结果发现是替换了nutch原本分词的问题。网上的有些教程说要修改NutchDocumentAnalyzer.java把nutch原来的分词替换成自己的分词,代码是
public NutchDocumentAnalyzer(Configuration conf) {
this.conf = conf;
CONTENT_ANALYZER = new ContentAnalyzer(conf);
ANCHOR_ANALYZER = new AnchorAnalyzer();
//Paoding paoding = PaodingMaker.make(); 加入自己的分词器,我的是庖丁
//PAODING_ANALYZER = new PaodingAnalyzer().queryMode(paoding);
}
public TokenStream tokenStream(String fieldName, Reader reader) {
Analyzer analyzer;
if ("anchor".equals(fieldName))
analyzer = ANCHOR_ANALYZER;
else
analyzer = CONTENT_ANALYZER;
//analyzer = PAODING_ANALYZER; 这句替换了nutch的分词器
return analyzer.tokenStream(fieldName, reader);
}
我注释掉了我的中文分词器。
把分词词换为原来的就不会出现空白页了,不知道是什么原因,还没深入研读源码,还有一个问题是如果只用插件中的分词不替换nutch的分词的话,执行爬虫时得到的分词结果很怪,有时一整句都分出来了。
2010-10-4
public NutchDocumentAnalyzer(Configuration conf) {
this.conf = conf;
CONTENT_ANALYZER = new ContentAnalyzer(conf);
ANCHOR_ANALYZER = new AnchorAnalyzer();
//Paoding paoding = PaodingMaker.make(); 加入自己的分词器,我的是庖丁
//PAODING_ANALYZER = new PaodingAnalyzer().queryMode(paoding);
}
public TokenStream tokenStream(String fieldName, Reader reader) {
Analyzer analyzer;
if ("anchor".equals(fieldName))
analyzer = ANCHOR_ANALYZER;
else
analyzer = CONTENT_ANALYZER;
//analyzer = PAODING_ANALYZER; 这句替换了nutch的分词器
return analyzer.tokenStream(fieldName, reader);
}
我注释掉了我的中文分词器。
把分词词换为原来的就不会出现空白页了,不知道是什么原因,还没深入研读源码,还有一个问题是如果只用插件中的分词不替换nutch的分词的话,执行爬虫时得到的分词结果很怪,有时一整句都分出来了。
2010-10-4
相关文章推荐
- Destoon开启伪静态后搜索中文字词出现http 403 forbidden的解决方法
- 对于从IE传送中文到服务层出现乱码的解决方法
- 【解决方法】Ubuntu文本编辑器gedit打开中文出现乱码的
- ruby环境sass编译中文出现Syntax error: Invalid GBK character错误解决方法
- Ajax获取服务器上的HTML文件出现中文乱码的解决方法
- 安装vim中文帮助后出现乱码解决方法
- JAVASCRIPT用Url传递参数出现中文乱码的解决方法
- php版微信公众平台回复中文出现乱码问题的解决方法
- [转]中文VS2008中安装ASP.NET MVC框架出现问题的解决方法
- Spring MVC中表单提交中文出现乱码解决方法
- Win8.1中文版系统使用中文软件出现乱码的解决方法
- GET方法和POST获取中文参数出现乱码的问题及解决方法
- 解决SpringMvc限定请求方法POST推送数据出现的中文乱码问题
- mysql导入sql执行出现中文乱码解决方法
- MySQL从命令行导入SQL脚本时出现中文乱码的解决方法
- Ubuntu14.04安装wineqq国际版出现无法输入中文的解决方法
- Android读取xxx.properties配置文件中文出现乱码解决方法
- jQuery ajax方法传递中文时出现中文乱码的解决方法
- Ruby环境Sass编译中文出现Syntax error: Invalid GBK character错误解决方法
- Android编程向服务器发送请求时出现中文乱码问题的解决方法