您的位置:首页 > 运维架构

使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hadoop1.2.1搭建

2017-08-23 10:56 549 查看
    今天小编将要使用Hadoop ,Nutch,Hbase,solr来搭建一个搜索引擎。在一台全新的centOS 系统上进行搭建,8核,16G内存,60G 系统盘,500G EOS 存储盘。

    Hadoop环境搭建,安装Hadoop1.2.1

    (一)进入或者创建usr/local/hadoop文件夹中
    (二)使用如下命令 ,获取hadoop-1.2.1.tar.gz      
wget https://archive.apache.org/dist/hadoop/core/hadoop-1.2.1/hadoop-1.2.1.tar.gz[/code]    (三)在Hadoop文件中 解压hadoop-1.2.1.tar.gz   
tar -xzvf hadoop-1.2.1.tar.gz
    (四)修改目录权限:
sudo chmod 777 -R hadoop
    (五)创建/data/hadoop-data目录,在根目录下输入如下命令   
mkdir data
cd data
mkdir hadoop-data
    (六)修改./conf/core-site.xml配置如下:  
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop-data/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
    (七)修改conf/hadoop-env.sh中的JAVA_HOME配置如下(根据自己):
export JAVA_HOME=/usr/java/jdk1.6
    (八)修改./conf/hdfs-site.xml配置如下: 
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
    (九)修改./conf/mapred-site.xml配置如下:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>


    (十) 配置环境变量
export HADOOP_PREFIX=/usr/local/hadoop/hadoop-1.2.1
export PATH=${HADOOP_PREFIX}/bin/:${PATH}
    (十一)格式化namenode
hadoop namenode -format
    (十二)启动hadoop 
start-all.sh
    


   (十三)检查hadoop是否正确启动
hadoop fs -ls /
jps




PS :安装ssh

yum -y install openssh-server openssh-clients

 

                                            
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
相关文章推荐