hadoop安装与配置

二、安装操作

在27上执行以下操作：

$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa，

直接回车，完成后会在~/.ssh/生成两个文件：id_dsa和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再把id_dsa.pub追加到授权key里面(当前并没有authorized_keys文件)：

$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys。

完成后可以实现无密码登录本机：

$sshlocalhost

把27上的id_dsa.pub文件追加到28和29的authorized_keys内(以192.168.2.28节点为例)：

a.拷贝27的id_dsa.pub文件：

$scpid_dsa.pub192.168.2.28:/root/

b.登录192.168.2.28，进入/root目录执行：

$catid_dsa.pub>>.ssh/authorized_keys

之后可以在27上不输入密码直接访问28

192.168.2.27

6、修改/yuxl/hadoop-0.21.0/conf/目录下的slaves文件，内容如下：

192.168.2.27(同时为namenode和datanode)

192.168.2.28

192.168.2.29

7、修改/yulx/hadoop-0.21.0/conf/hadoop-env.sh文件的环境变量：

#Thejavaimplementationtouse.Required.

exportJ***A_HOME=/home/yuxl/jdk1.6.0_22

8、修改/yuxl/hadoop-0.21.0/conf/core-site.xml配置文件，内容如下：

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/hadoopdata</value>

<description>Abaseforothertemporarydirectories.</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.2.27:9000</value>

<description>Thenameofthedefaultfilesystem.AURIwhose

schemeandauthoritydeterminetheFileSystemimplementation.The

uri'sschemedeterminestheconfigproperty(fs.SCHEME.impl)naming

theFileSystemimplementationclass.Theuri'sauthorityisusedto

determinethehost,port,etc.forafilesystem.</description>

</property>

<property>

<name>dfs.hosts.exclude</name>

<value>excludes</value>

</property>

</configuration>

9、修改/yuxl/hadoop-0.21.0/conf/hdfs-site.xml配置文件，内容如下：

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

10、修改/jz/hadoop-0.20.2/conf/mapred-site.xml配置文件，内容如下：

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>192.168.2.27:9001</value>

<description>ThehostandportthattheMapReducejobtrackerruns

at.If"local",thenjobsarerunin-processasasinglemap

andreducetask.

</description>

</property>

</configuration>

11、修改ect/hosts配置文件,内容如下：

#Donotremovethefollowingline,orvariousprograms

#thatrequirenetworkfunctionalitywillfail.

127.0.0.1localhost

192.168.2.27机器名

192.168.2.28机器名

192.168.2.29机器名

12、修改/ect/profile配置文件，在末尾追加以下内容，并输入source/etc/profile使之生效：

exportJ***A_HOME=/home/yuxl/jdk1.6.0_22

exportJRE_HOME=/home/yuxl/jdk1.6.0_22/jre

exportCLASSPATH=.:$J***A_HOME/lib:$JRE_HOME/lib:$CLASSPATH

exportPATH=$J***A_HOME/bin:$PATH

exportHADOOP_HOME=/home/yuxl/hadoop-0.21.0

exportPATH=$HADOOP_HOME/bin:$PATH

exportPATH=$PATH:$HIVE_HOME/bin

13、将/jz/hadoop-0.20.2拷贝到192.168.3.132和192.168.3.133对应的目录下。将/ect/profile和/etc/hosts也拷贝到132和133机器上。注意profile需要做生效操作。

三、启动/停止hadoop

1、通过shell脚本启动hadoop。

sh/yuxl/hadoop-0.21.0/bin/start-all.sh

2、停止hadoop

sh/yuxl/hadoop-0.21.0/bin/stop-all.sh

四、初始配置

1、格式化HDFS文件系统。进入/jz/hadoop-0.20.2/bin目录。执行:

hadoopnamenode–format

2、在/yuxl/hadoop-0.21.0/bin目录下，执行:

hadoopfs-ls/

如果控制台返回结果，表示初始化成功。可以向里面录入数据。

3、通过WEB查看hadoop

查看集群状态http://192.168.2.27:50070/dfshealth.jsp

查看JOB状态http://192.168.2.27:50030/jobtracker.jsp

五、注意事项