Hadoop集群安装步骤

Hadoop集群环境配置过程:
master slave su root 下

1 连接网络

(1).修改主机名

vim /etc/hosts

.hostname 主机名(启动修改后主机名配置文件)

(2) 添加主机IP 对应的主机名

vim /etc/sysconfig/network

IP 主机名(作用:在ping IP时可以直接写后面的名称)

(3) ping 主机名

2.转移jdk中JDK安装包

(1)进入jdk目录

cd /home/zkpk/resource/jdk

(2) 创建jdk压缩包存放路径

mkdir /usr/java

(3) 转移文件

.mv jdk压缩包 /usr/java

(4) cd /usr/java 解压

.tar -xvf 压缩包

3 配置java 环境变量

(1)进入 家目录下 cd ~

.vim .bash_profile

JAVA_HOME=/usr/java/jdk1.7.0_71/

PATH=$JAVA_HOME/bin:$PATH

(2)启动配置文件使其立即生效

.source .bash_profile

4 免密钥登录

分别在master和slave节点的普通用户下操作(注意前后顺序master先slave后)

该步骤的目的.可以不免密码登录,便于主节点管理大量的从节点

(1).su zpkp

(2) 生成秘钥

.ssh-keygen -t rsa(一路Enter键)

(3)复制并修改公钥名

cat id_rsa.pub >> authorized_keys(此命令在.ssh目录下)

非.ssh目录

cat ~/.ssh/id_rsa.bub >> ~/.ssh/authorized_keys

(4) 修改authorized_keys权限

chmod 600 authorized_keys

(5) authorized_keys 拷贝到slave节点的~/.ssh下

scp -r authorized_keys zkpk@slave:~/.ssh

输入yes 回车

(6)进入slave节点

操作步骤(1)和(2)

(7) 返回到master节点掩验证

Ssh slave

成功标志: 按Enter 不输密码直接接入 否则失败

5 Hadoop配置部署(在master su zkpk用户下完成)

(1) 切换用户 su zkpk

(2)安装解压包

A 进入Hadoop软件包命令如下:

cd /home/zkpk/resource/software/apache

B 复制到~/目录下并解压

cp hadoop-2.5.2.tar.gz ~/

cd

tar -xvf hadoop-2.5.2.tar.gz

Cd hadoop hadoop-2.5.2

C 查看是否成功

(3)配置的环境两个变量:

A Hadoop-env.sh

B yarn-env.sh

(4)配置四个文件系统

A core-site.xml(核心组件系统)

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/zkpk/hadoopdata</value>

</property>

</configuration>

B hdfs-site.xml(HDFS文件系统)

Hadoop分布式文件系统位置配置文件

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

C yarn-site.xml(yran文件系统

Yarn 配置文件

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:18040</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:18030</value>

</property>

<property> <name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:18025</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:18141</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:18088</value>

</property>

</configuration>

D mapred-site.xml.(计算框架文件系统)

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

6 在master节点下配置从节文件.目的:确定slave为master从节点

vim /etc/hadoop/slaves

7 将Hadoop-2.5.2通过免密钥方式(ssh)复制到从节点的~/目录下

Cd

.scp -r Hadoop-2.5.2 slave:~/

8 启动hadoop集群(分别在master和slave两个节点操作)

(1)切换用户su root

(2)配置hadoop启动的系统环境变量

A进入配置文件

Vim ~/.bash_profil

B加上 export HADOOP_HOME=/home/zkpk/hadoop-2.5.2

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

C启动配置文件使其立即生效

Source .bash_profile

(3) 创建数目目录

Mkdir /home/zkpk/hadoopdata

(4) 启动集群

A 格式化文件系统(在master节点上操作)

hdfs namenode -format

B启动hadoop

cd ~/hadoop-2.5.2

方式一 Sbin/start-all.sh(一次性启动)

方式二 单步启动hadoop的角色

sbin/hadoop-daemon.sh start namenode

 sbin/hadoop-daemon.sh start datanode

sbin/yarn-daemon.sh start resourcemanager

 sbin/yarn-daemon.sh start nodemanager

 sbin/hadoop-daemon.sh start secondarynamenode

C查看进程(master中SNN NN jps RM四个进程 slave 中DN Jps DM三个进程)

D 在master浏览器中 查看 master:50700 和master18088

9 计算PI 值

pi有结果 则表明集群搭建成功