nutch 在hadoop环境下过滤抓取url的设置
2014-07-13 20:33
232 查看
分析：nutch在单机和hadoop环境下运行不一样， nutch目录下有一个runtime子目录，该子目录下有 local和deploy两个文件夹，local是本地运行的文件，deploy是分布式运行的文件，分布运行的conf文件应该打包到deyloy的apache-nutch-XX.job
中。所以，一旦要修改 nutch/conf中文件内容， 修改完后，需要ant一下，重新生成deyloy的apache-nutch-XX.job即可
中。所以，一旦要修改 nutch/conf中文件内容， 修改完后，需要ant一下，重新生成deyloy的apache-nutch-XX.job即可
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- nutch 在hadoop环境下过滤抓取url的设置
- hadoop环境配置（2）--java环境配置，ssh设置
- 配置nutch1.2时url被过滤掉的问题
- windows环境下nutch2.x 在eclipse中实现抓取数据存进mysql详细步骤
- Nutch-2.2.1学习之九Nutch过滤URL实践
- Nutch-2.2.1学习之八过滤抓取数据
- nutch如何才能抓取到动态的url
- hadoop环境搭建准备工作之二：linux下设置ssh无密码登陆
- Hadoop集群_2_Eclipse开发环境设置
- 【Apache Nutch系列】Nutch2.2+hadoop+hbase+zookeeper环境部署
- hadoop安装--11--设置 hadoop 环境变量
- nutch如何根据regex-urlfilter.txt文件过滤url链接的？
- Hadoop集群（第7期）_Eclipse开发环境设置
- Hadoop集群（第7期）_Eclipse开发环境设置
- hadoop搭建与eclipse开发环境设置
- Hadoop集群（第7期）_Eclipse开发环境设置
- nutch 设置抓取间隔策略
- 基于hadoop+nutch+solr的搜索引擎环境搭载<一>hadoop完全分布式环境搭建
- Hadoop集群_Eclipse开发环境设置
- Hadoop集群（第7期）_Eclipse开发环境设置