Nutch-1.2添加中文分词ICTCLAS以及常见问题解答

本文以windows系统为例

工具准备tomcat、eclipse、javac、ant、cgywin、Nutch-1.2、（NLPIR.dll、Data文件夹）---ICTCLAS中的文件

本文详细介绍Nutch-1.2中文分词在三个平台中的应用——Eclipse、Cygwin、tomcat

ok now begin。。。。。

1、Eclipse平台

首先请参照网络资料将Nutch-1.2中代码放入一个新建的java project。好了，假设你已经成功导入源代码，那么现在我们就来添加ICTCLAS。下图为nutch-1.2添加了ICTCLAS后的工程目录，共下文分析参考。



step 1: 将NLPIR.dll和data文件夹方法java工程根目录，新建一个类加载dll文件（加载方法请查找相关网络资料）



step 2：修改nutch代码

/src/java/org/apache/nutch/analysis下的 NutchAnalysis.jj

| <SIGRAM: (<CJK>)+ > //修改后的部分，源文件为 | <SIGRAM: <CJK> >

让他支持中文分词

step 3：使用 javacc 编译，生成代码

javacc NutchAnalysis.jj,生成7个java文件，覆盖原始文件

step 4: 修改NutchDocumentTokenizer.java 中的代码

private static Reader myreader = null;

public NutchDocumentTokenizer(Reader reader) {
super(process(reader));
tokenManager = new NutchAnalysisTokenManager(myreader);
this.termAtt = addAttribute(TermAttribute.class);
this.offsetAtt = addAttribute(OffsetAttribute.class);
this.posIncrAtt = addAttribute(PositionIncrementAttribute.class);
this.typeAtt = addAttribute(TypeAttribute.class);
}

public static Reader process(Reader reader){
BufferedReader in = new BufferedReader(reader);
String line="";
String temp=null;
try{
while((temp =in.readLine())!=null){
line += temp.replaceAll("/", "");
System.out.println(line);
}
}catch(Exception e){
System.out.println(e);
}
try{
if(line!=null && !line.equals("")){
NlpirMethod.Nlpir_init();
line=NlpirMethod.NLPIR_ParagraphProcess(line, 0);
myreader = new StringReader(line);
}
}catch(Exception e){
}
return myreader;
}

根据编译器提示修改一些捕获异常的代码。

step 5：以上修改完成以后nutch就应该能支持中文分词了。测试一下：

执行org.apache.nutch.analysis.NutchAnalysis测试一下分词效果，如下

输入：



结果：



step 6：爬虫简历索引

如何修改nutch配置文件进行爬虫请参考其他网络资料

运行NutchBean.java,其中参数配置如图所示：



参数具体的含义相信大家都应该懂，这里不再赘述。执行结果会形成一个爬虫文件夹，文件夹结构如图所示：



各个文件的含义请查看相关文章。

2、cgywin平台

在cgywin中运行其实本质和eclipse中一样，将上面改好的文件复制和替换进入nutch目录文件夹下，运用ant工具将改好的代码编译即可。

调出windows命令窗口，CMD进入命令界面，cd 进入nutch-1.2文件目录，输入ant命令即可形成3个文件（build文件夹下）——nutch-1.2.jar、nutch-1.2.job、nutch-1.2.war,将前两者替换nutch中原有文件，nutch-1.2.war用于tomcat。





这里面在进行ant编译时可会会出现报错，应该会有一个ParseException的错误，按照提示修改即可。

在进行cgywin命令时可能你会发现无法输入和显示中文，具体办法请看我的另一篇文章《cgywin下中文输入和显示》。

3、tomcat平台

将上面形成的nutch-1.2.war放入tomcat》webapps目录下，将data和NLPIR.dll放入tomcat根目录下（这里为什么放入这里而不是工程web-inf中还请大神指点）



可能会有问题，在搜索框中输入”中国“时，跳转页面时空页面，查看日志文件显示java.lang.StringIndexOutOfBoundsException: String index out of range: 解决办法如下：

在tomcat中部署的nutch目录下进入WEB-INF\classes

找到nutch-site.xml 在这里添加如下代码即http://www.nlpir.org/可。

<property>

<name>plugin.includes</name>

<value>protocol-http|urlfilter-regex|parse-(text|html|js)|analysis-(zh)|index-basic|query-(basic|site|url)|summary-lucene|scoring-opic|urlnormalizer-(pass|regex|basic)</value>

</property>

ok 这样基本就配置完了。。。。。上面有些地方说的比较粗略，可能也有些错误，没明白的地方欢迎留言，错误的地方欢迎指正。

转载请注明出处。

相关链接:http://www.nlpir.org / 可在这里下载最新ICTCLAS