Nutch-2.2.1学习之六以伪分布模式运行Nutch

        之前运行使用Nutch都是在本地模式下，也就是执行runtime/local/bin目录下的脚本命令。本地模式主要用来熟悉Nutch的一些基本命令和调试，要想真正的使用Nutch并且发挥Nutch并行抓取网页与分布式的优势，还是要在分布式或者伪分布式下安装和运行Nutch，这里所说的分布式或者伪分布式取决于Hadoop的安装方式，也就是Nutch要想以分布式或者伪分布式的方式运行，必须基于Hadoop使用。基于Hadoop使用，即使是在伪分布模式下运行Nutch，也依然会带来很多好处，比如可以通过Hadoop监控作业的进行情况、作业的完成状态、作业的管理等等.

        要想正确以伪分布模式部署运行Nutch，必须已经正确安装了Hadoop并且对core-site.xml、hdfs-site.xml、mapred-site.xml进行了相应的修改，具体如何以伪分布模式安装部署Hadoop，可以参考Hadoop的官方文档。在正确安装部署了Hadoop后，必须在路径中设置$HADOOP_HOME/bin，这样Nutch就可以使用hadoop命令运行作业了。

        在分布式或者伪分布式模式下，需要运行runtime/deploy/bin目录下的脚本。Deploy目录和local目录的文件时不同的，比如在deploy目录下不存在lib、logs、conf等目录，仅有bin目录和apache-nutch-2.2.1.job，bin目录与local下的bin目录不同，apache-nutch-2.2.1.job包含了运行Nutch所需的lib包、配置文件、插件等，这个文件是在编译Nutch源代码时生成的，当对Nutch根目录下的conf中文件做了修改时，需要运行antruntime使这些修改编译到apache-nutch-2.2.1.job中，或者使用解压缩软件直接修改配置文件。

        在以伪分布式模式运行Nutch时遇到了一下几个问题，其中两个是在本地模式下也出现过的。第一个就是HBase的jar包与使用的HBase不匹配的问题，解决办法时删除apache-nutch-2.2.1.job中的版本较低的hbase的jar包，将高版本的jar打包进apache-nutch-2.2.1.job中即可。第二个问题是http.agent.name没有被设置，该属性将影响Nutch的fetch阶段，同样的办法是打开apache-nutch-2.2.1.job，修改其中的nutch-site.xml即可。

        第三个问题是在运行抓取命令bin/crawlurls sina
http://localhost:port/solr 2时出现的，错误信息如下。根据提示信息可知要抓取的url文件在HDFS上不存在，解决办法是运行hadoopfs –put命令将url文件放置到HDFS上，再次运行命令问题解决。

13/12/13 16:21:20 ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://127.0.0.1:9000/user/hadoop/urls
13/12/13 16:21:20 ERROR crawl.InjectorJob: InjectorJob: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://127.0.0.1:9000/user/hadoop/urls

        运行的结果可以通过在浏览器中查看，截图如下。作业分别为inject、generate、fetch、parse、update-table，这也对应了Nutch抓取网页的各个阶段。