Nutch学习之Win7环境下在eclipse中搭建Nutch+solr+tomcat

Nutch学习之Win7环境下在eclipse中搭建Nutch+solr+tomcat（一）

最近，因为工作的需要，要获取一些旅游景点的信息（主要是某省的旅游景点，大大小小大概有几千个）。在网上查阅了相关资料后，果断选择了Nutch（至于为什么，我也说不出来，可能就是眼缘吧 ^_^）。完成工作后，有点时间就把自己的工作记录下来，以便以后查阅！

当然第一步就是环境的搭建了。我所用的是Win7环境，故搭建起来比较繁琐。就我了解Linux下会很方便。这一节将介绍在win7环境下eclipse中搭建Nutch的方法，为以后进行Nutch二次开发做好准备工作。

一、软件及环境

1. 操作系统： Win7操作系统
2. nutch版本：apache-nutch-1.4-bin.zip
3. solr版本：apache-solr-3.5.0.zip
4. Tomcat版本：apache-tomcat-7.0.54-windows-x86.zip
5. eclipse版本：elipse-jee-indigo-SR1-win32.zip
6. jdk版本：jdk1.7.0_07
7. cygwin：
8. Ant版本：apache-ant-1.8.3-bin.zip

1.1 JDK安装

jdk安装方法很简单，这里不再赘述，记得最后要进行环境变量的配置！

1.2 cygwin安装配置

cygwin安装有两种方式，一种是直接下载安装包，还有一种是在线安装，我选择的是后一种。由于Nutch是在hadop基础上的，而hadoop是在Linux环境下运行的，故在Windows下安装Nutch，必须安装cygwin来模拟Linux。
安装过程不是很复杂，注意几点就可以了：因为我是在线安装，故应选择Install from Internet ；进入“select packages”对话框时，要选择相应的包，默认时是没有添加的，必须保证“Net Category”下的“OpenSSL”被安装，如下图所示：

如果还打算在eclipse 上编译Hadoop，则还必须安装“Base Category”下的“sed”，如

下图所示：

另外，还建议将“Editors Category”下的vim安装，以方便在Cygwin 上直接修改配置文件，如下图所示：

下面就简单了，直接“下一步”，然后选择一个镜像安装。
接下来就是cygwin的环境变量配置。其实，就是将F:\Cygwin\bin添加到Path环境变量中，即可。
验证是否安装成功，可以使用命令：cygcheck -c cygwin，如果出现以下画面，就说明安装成功！

1.3 Ant安装

将apache-ant-1.8.3-bin.zip解压到F:\NutchWorkPlat并重命名为ant，接下来配置环境变量即可。将F:\NutchWorkPlat\ant\bin和F:\NutchWorkPlat\ant\lib添加到Path环境变量中。

1.4 eclipse 及插件安装

在官网下载一个eclipse，无需安装，只需把它解压即可，我这里解压到 F:\NutchWorkPlat\eclipse 打开即可。
下面在eclipse中安装相关的插件
IvyDE安装配置：所需的jar包目录如下

把“org.apache.ivyde.eclipse_2.2.0.final-201311091524-RELEASE.jar”复制到Eclipse安装目录的“plugins”中。

把“org.apache.ivyde.feature_2.2.0.final-201311091524-RELEASE.jar”解压到Eclipse安装目录的“features”中。

把“org.apache.ivy.eclipse.ant_2.3.0.final_20130110142753.jar”和“org.apache.ivy_2.3.0.final_20130110142753.jar”复制到Eclipse安装目录的“plugins”中

把“org.apache.ivy.feature_2.3.0.final_20130110142753.jar”解压到Eclipse安装目录的“features”中。

完成以上步骤之后，重启Eclipse，打开Window -> preference对话框里看到ivy一栏；打开Help -> About Eclipse -> Installation-> Plug-ins列表里也可以看到两个ivy，一个ivyDe。

1.5 Tomcat安装配置

将apache-tomcat-7.0.54-windows-x86.zip解压到F:\NutchWorkPlat ，并重命名为tomcat。进入“E:\NutchWorkPlat\tomcat\bin”点击“startup.bat”，tomcat会启动。然后在浏览器中输入http://localhost：8080，会出现以下画面：

接着安装Tomcat的Eclipse插件，并让Eclipse与Tomcat结合，把“tomcatPluginV33.zip”后的“com.sysdeo.eclipse.tomcat_3.3.0”复制到“E:\NutchWorkPlat\eclipse\plugins”中，然后重启Eclipse。

打开Windowpreference对话框里看到tomcat一览，点击tomcat，把刚才解压的tomcat进行关联，操作如下。

此时eclipse界面中会出现，点击Start Tomcat,在控制台会出现tomcat启动的相关信息，再在浏览器输入http://localhost：8080，查看tomcat启动情况。
这个我在配置的时候，最后发现在eclipse的界面中没有出现三个小猫按钮，查其原因：因为我的eclipse是下载了一个直接解压后就能用的包。所以只需把elipse安装目录下的configuration里面的东西都删掉，再重新从压缩包里解压出相应的目录即可。分析原因可能是因为程序在启动时，没有把新解压进去的tomcat插件configure，所以导致始终不能出现tomcat图标。
下一篇将介绍，将nutch和solr部署到eclipse中......