Hadoop分布式安装步骤

hadoop分布式部署步骤：

第一大步骤：伪分布式安装

1.1 设置ip地址

vi   /etc/sysconfig/network-scripts/ifcfg-eth?

BOOTPROTO=static

IPADDR=192.168.1.110

NETMASK=255.255.255.0

GATEWAY=192.168.1.1

DNS1=192.168.1.1

虚拟机复制的时候需要注意的地方：IPADDR需要修改，同时mac地址也需要修改  ifconfig -a 查看mac地址

执行命令 service network restart

验证: ifconfig

1.2 关闭防火墙

执行命令 service iptables stop

验证: service iptables status

1.3 关闭防火墙的自动运行

执行命令 chkconfig iptables off

验证: chkconfig --list | grep iptables  --正常显示五个off

1.4 设置主机名

执行命令 (1)hostname chaoren  --零时更改

(2)vi /etc/sysconfig/network  --真正更改主机名  重启生效  立刻重启命令 ：--   reboot -h now 

1.5 ip与hostname绑定
执行命令 vi /etc/hosts        --增加本机ip+主机名  例如：192.168.230.128 hadoop  

注意：需要把集群环境中的机器也增加进去

验证: ping hadoop

1.6 设置ssh免密码登陆

执行命令 

(1)cd /root/.ssh

(2)ssh-keygen -t rsa        --一路回车按下去
(3)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 或者cat id_rsa.pub >>authorized_keys

(4)ssh  hadoop   选择---   yes

验证： ssh hadoop

1.7 安装jdk

执行命令 (1)cd /usr/local

(2)chmod u+x jdk-6u24-linux-i586.bin

(3)./jdk-6u24-linux-i586.bin

(4)mv jdk-1.6.0_24  jdk

(5)vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

(6)source /etc/profile

验证: java -version

1.8 安装hadoop

执行命令 (1)tar -zxvf hadoop-1.1.2.tar.gz

(2)mv hadoop-1.1.2 hadoop

(3)vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

(4)source /etc/profile

(5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/

2.core-site.xml   

ps：NameNode所在节点是通过配置文件core-site.xml的fs.default.name的值体现的

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://centos:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/centos/tmp</value>
</property> 
</configuration>

3.hdfs-site.xml
<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
</configuration>

4.mapred-site.xml 

ps：JobTracker所在节点是通过配置文件mapred-site.mlx的mapred.job.tracker的值体现的

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
</property>
</configuration>

(6)hadoop namenode -format  --格式化
注意：执行HDFS的格式化时发生了什么事情？

       (1)是NameNode创建自己的目录结构   version的ID  namenode与datanode要是一致的   不要多次格式化hdfs 

(7)start-all.sh

验证: (1)执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker

(2)在浏览器查看，http://centos:50070  http://centos:50030  

操作完成上面步骤表示hadoop的伪分布就已经完成。

第二大步骤:hadoop分布式部署步骤

1)直接完整复制虚拟机

--删除复制之后的两个虚拟机的配置(即上面的伪分布的步骤)

这里我只删除了免密码登陆

命令：

cd /root/.ssh

rm -rf *  --删除密匙

ssh-keygen -t rsa        --一路回车按下去

cat id_rsa.pub >>authorized_keys

more authorized_keys --查看密匙是否成功

ssh localhost 

2)实现主机都能操作从节点，实现免密码登陆

现在就假设把 hadoop 的密码复制到hadoop0上去

ssh-copy-id -i hadoop0    --在hadoop主机上操作

同理把hadoop1的也复制到hadoop0上去

ssh-copy-id -i hadoop0    --在hadoop1主机上操作

3)hadoop0的密匙复制到hadoop 和hadoop1上去

scp /root/.ssh/authorized_keys   hadoop:/root/.ssh/    --在hadoop0主机上执行

4)如果删除的hadoop和jdk 文件夹 这里就需要复制过去了

   1)把hadoop的hadoop目录下的logs和tmp删除

   2)把hadoop中的jdk、hadoop文件夹复制到hadoop0和hadoop1节点
scp  -r /usr/local/jdk   hadoop0:/usr/local/
scp  -r /usr/local/hadoop   hadoop0:/usr/local/

   3)把hadoop的/etc/profile复制到hadoop0和hadoop1节点，在目标节点中执行source  /etc/profile

5)编辑hadoop的配置文件slaves，改为从节点的hostname，分别是hadoop0和hadoop1

  这里的步骤是把hadoop主机当作主节点 vi /etc/usr/local/hadoop/conf/slaves  

6)格式化，在hadoop节点执行hadoop namenode -format

7)启动，在hadoop节点执行start-all.sh
注意：对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容