handoop安装（centos6.5+HDFS+YARN）

Hadoop安装并分为以下几个步骤：

1 准备阶段--hadoop软件安装包(rpm,tar.gz)，jdk安装包/系统自带jdk

2.解压安装：tar zxcfhadoop2.7.1.tar.gz

3.修改配置文件：文件目录-- /home/zq/soft/hadoop-2.7.1/etc/hadoop

更改主机名：sudo gedit /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=zhangqiang

NTPSERVERARGS=iburst

更改hosts文件：sudo gedit /etc/hosts

添加：192.168.44.135 zhangqiang

关闭防火墙：root下：service iptables stop

1）core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://zhangqiang:9000</value>

</property>

</configuration>

2）hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/zq/soft/hadoop-2.7.1/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/home/zq/soft/hadoop-2.7.1/dfs/data</value>

</property>

</configuration>

**服务器端可以不配置蓝色部分，个人用户可以配置。

3）hadoop-env.sh

export JAVA_HOME=/home/zq/soft/jdk1.8.0_91

4) mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

5)yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

6)slaves:删除localhost，添加用户名zhangqiang

4.设置免密码登录（ssh设置）:

1)打开终端，cd .ssh-->.ssh不存在;

2)下载安装，#yum install openssh-server

3 )进入.ssh: #cd .ssh[如果目录找不到，cd ~/.ssh]，ls查看，[ssh -v 查看ssh版本]

4)免登录操作：ssh-keygen -t rsa

5) ls查看，生成id_rsa id_rsa.pub

6)将id_rsa.pub放入密钥连接池：cp id_rsa.pub authorized_keys

7 )ssh localhost

8 )ssh localhost

5.启动服务：

1）格式化bin/hdfs namenode -format

2）启动namenode服务：sbin/hadoop-daemon.sh start namenode

3）启动datanode服务：sbin/hadoop-doemon.sh start datanode

**sbin/start-dfs.sh 该命令执行启动时会同时开启secondarynamenode。

创建文件夹：

bin/hadoop fs –mkdir <path>或

bin/hdfs dfs –mkdir <path>

上传文件：

bin/hadoop fs –put 文件名 目标文件位置 或

bin/hdfs dfs –put 文件名 目标文件目录

4）启动yarn服务：sbin/start-yarn.sh

6.测试mapreduce：

bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-example-2.7.1.jar pi 2 1000

7.jps测试：jps

会出现5个守护进程：jps，namenode，datanode，

关闭服务：sbin/stop-yarn.sh