使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hadoop1.2.1搭建
2017-08-23 10:56
549 查看
今天小编将要使用Hadoop ,Nutch,Hbase,solr来搭建一个搜索引擎。在一台全新的centOS 系统上进行搭建,8核,16G内存,60G 系统盘,500G EOS 存储盘。
(二)使用如下命令 ,获取hadoop-1.2.1.tar.gz
Hadoop环境搭建,安装Hadoop1.2.1
(一)进入或者创建usr/local/hadoop文件夹中(二)使用如下命令 ,获取hadoop-1.2.1.tar.gz
wget https://archive.apache.org/dist/hadoop/core/hadoop-1.2.1/hadoop-1.2.1.tar.gz[/code] (三)在Hadoop文件中 解压hadoop-1.2.1.tar.gztar -xzvf hadoop-1.2.1.tar.gz(四)修改目录权限:sudo chmod 777 -R hadoop(五)创建/data/hadoop-data目录,在根目录下输入如下命令mkdir data cd data mkdir hadoop-data(六)修改./conf/core-site.xml配置如下:<configuration> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop-data/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>(七)修改conf/hadoop-env.sh中的JAVA_HOME配置如下(根据自己):export JAVA_HOME=/usr/java/jdk1.6(八)修改./conf/hdfs-site.xml配置如下:<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>(九)修改./conf/mapred-site.xml配置如下:<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
(十) 配置环境变量export HADOOP_PREFIX=/usr/local/hadoop/hadoop-1.2.1 export PATH=${HADOOP_PREFIX}/bin/:${PATH}(十一)格式化namenodehadoop namenode -format(十二)启动hadoopstart-all.sh
(十三)检查hadoop是否正确启动hadoop fs -ls / jpsPS :安装ssh
yum -y install openssh-server openssh-clients
相关文章推荐
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之搭建solr4.9.1
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Nutch2.2.1
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hbase-0.94.27.搭建
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎抓取并测试搜索结果
- apache-hadoop-1.2.1、hbase、hive、mahout、nutch、solr安装教程
- 利用nutch、hbase和solr搭建搜索引擎
- 基于hadoop+nutch+solr的搜索引擎环境搭载<一>hadoop完全分布式环境搭建
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- apache-hadoop-1.2.1、hbase、hive、mahout、nutch、solr安装教程
- [Nutch]Nutch2.3+Hadoop+HBase+Solr在Ubuntu环境搭建
- apache-hadoop-1.2.1、hbase、hive、mahout、nutch、solr安装教程
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】 分类: 1_Nutch 0_jediael开发 2015-01-24 17:24 3522人阅读 评论(1) 收藏
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- 一个大数据方案:基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
- Linux上 Nutch 1.3 + Solr 3.4.0 + Tomcat6.0 搜索引擎单节点搭建笔记
- 基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎