伪分布式集群环境hadoop、hbase、zookeeper搭建（全）

环境说明

1、操作系统centos 6.5

2、jdk-7u51-linux-x64.tar.gz

hadoop-1.1.2.tar.gz

hbase-0.94.7-security.tar.gz

zookeeper-3.4.5.tar.gz

设置IP地址

设置静态ip

执行

vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR="192.168.40.137"
PREFIX="24"
GATEWAY="192.168.40.2"

设置静态ip后不能上网，有待高手指点

关闭防火墙

执行命令 service iptables stop
验证:
service iptables status
关闭防火墙的自动运行
执行命令
chkconfig iptables off
验证:
chkconfig --list | grep iptables

设置主机名

执行命令

(1)hostname m
(2)vi /etc/sysconfig/network

设置ssh免密码登陆

执行命令
(1)ssh-keygen -t rsa

(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

验证： ssh chaoren

安装jdk

执行命令

(1)cd /usr/local (注意linux下的文件权限问题)
(2)mv dk-7u51-linux-x64 jdk
(3)vi /etc/profile 增加内容如下:

export JAVA_HOME=/opt/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

(4)source /etc/profile
验证: java -version

安装hadoop

执行命令 (1)tar -zxvf hadoop-1.1.2.tar.gz
(2)mv hadoop-1.1.2 hadoop
(3)vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

(4)source /etc/profile
(5)修改conf目录下的配置文件

1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/

2.core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://m:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
3.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

4.mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>m:9001</value>
</property>
</configuration>

(6)hadoop namenode -format
(7)$HADOOP_HOME/bin/start-all.sh
验证: (1)执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
(2)在浏览器查看，http://m:50070 http://m:50030

2安装zookeeper

zk服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。
在m的/usr/local目录下，解压缩zk....tar.gz，设置环境变量
在conf目录下，修改文件 vi zoo_sample.cfg zoo.cfg
编辑该文件，执行vi zoo.cfg
修改dataDir=/usr/local/zk/data
新增server.0=m:2888:3888
创建文件夹mkdir /usr/local/zk/data
在data目录下，创建文件myid，值为0
启动，在三个节点上分别执行命令zkServer.sh start
检验，在三个节点上分别执行命令zkServer.sh status

3安装hbase

在hadoop0上解压缩、重命名、设置环境变量HBASE_HOME
修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下
export JAVA_HOME=/usr/local/jdk
export HBASE_MANAGES_ZK=true
修改文件hbase-site.xml，修改内容如下

<property>
<name>hbase.rootdir</name>
<value>hdfs://m:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>m</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

(可选)修改regionservers，具体操作见ppt
启动，执行命令start-hbase.sh

注意：启动hbase之前要先启动hadoop，确保hadoop可写入数据。