【Hadoop】8、基于虚拟机的Hadoop1.2.1完全分布式集群安装

基于虚拟机的Hadoop集群安装

1、我们需要的软件

Xshell， ssh secure, 虚拟机，Linux centos64， Hadoop1.2.1的安装包

2、安装以上软件

3、安装Linux，此处不多做阐述

4、首先安装jdk

我的路径是

J***A_HOME=/usr/lib/jvm/jdk1.7.0_79

PATH=PATH:PATH:J***A_HOME/bin

CLASSPATH=J***AHOME/lib/dt.jar:J***A_HOME/lib/dt.jar:J***A_HOME/lib/tools.jar

5、解压Hadoop1.2.1

指令是: tar –zxvf hadoop-1.2.1.tar.gz



改一下名，做个软连接





6、配置文件

core-site.xml





第一个是namenode的主机号

第二个是我们的tmp目录，我们是通过这个目录对datanode操作的

然后保存退出

修改hdfs-site.xml



配置子的datanode



吧我们的datanode放进去



修改我们的secondarynode节点





我们机器的ip



7、配置免密码登录

ssh−keygen−tdsa−P”−f /.ssh/iddsa ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys



从各个地方进行免密码登录

1-》2 1-》3和1-》1 2-》2 3-》3

8、启动我们的程序



还得给我们的datanode拷贝相应文件





Node1安装jdk

先删除原有的jdk







配置我们的环境

在etc/profile里面修改文件



使环境变量生效





Node1安装hadoop





Node2同上

然后就是配置文件的修改



在我们的hadoop里面的hadoop-env.sh里面配置J***A_HOME

每个node主机上都要配置



启动程序dfs