Hadoop+Flume+Kafka+Zookeeper集群环境搭建（一）

Hadoop+Flume+Kafka+Zookeeper集群环境搭建

1.部署基础条件

1.1 硬件条件

IP	hostname
192.168.100.103	mater
192.168.100.104	flumekafka1
192.168.100.105	flumekafka2
192.168.100.106	flumekafka3

注意：修改hostname的方法是：

（1） vim /etc/hostname

（2） 将localhost改成您所需要的内容

1.2 修改ssh

在master机器上执行下面的命令：

$ ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys flumekafka1 ~/.ssh/
scp ~/.ssh/authorized_keys flumekafka2 ~/.ssh/

scp ~/.ssh/authorized_keys flumekafka1 ~/.ssh/

注意：
（1）若提示.ssh目录不存在，则表示此机器从未运行过ssh，因此运行一次即可创建.ssh目录。（2）.ssh/的权限为600,authorized_keys的权限为700，权限大了小了都不行。

1.3 JAVA环境变量的配置

l 下载jdk（版本是：jdk-1.7.0_80）

l 将jdk的压缩包解压到/home/bms目录下

l 配置环境变量

1） vim /etc/profile

2） 添加如下内容

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0._80

export JRE_HOME=${ JAVA_HOME }/jre

export CLASSPATH=.:${ JAVA_HOME }/lib: ${ JRE_HOME}/lib

export PATH=${ JAVA_HOME }/bin

3） 保存文件

注意：上述四台虚拟机要进行同样的配置

1.4 安装hadoop

l 下载hadoop-2.6.0

l 将hadoop的压缩包解压到/home/bms目录下，解压命令式：tar
-zxvf hadoop-2.6.0.tar.gz

l 配置hadoop的环境变量

按着配置JAVA环境变量的方法在/etc/profile中添加如下内容：

exportHADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

exportHADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”

export HADOOP_HOME=/home/bms/Hadoop-2.6.0

exportPATH=$PATH:$HADOOP_HOME/bin

1.5 hadoop相关配置

注意：相关的配置文件都在/home/bms/Hadoop-2.6.0/etc/hadoop下面

l 配置hadoop_env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80

l 配置core-site.xml

<property>

<name>hadoop.tmp.dir</name>

<value>/root/Hadoop/tmp</value>

<description>Abase for other temporarydirectories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>4096</value>

</property>

l 配置hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/root/hadoop/hdfs/data</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/root/hadoop/hdfs/name</value>

</property>

l 配置mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

<final>true</final>

</property>

<property>

<name>mapreduce.jobtracker.http.address</name>

<value>master:50030</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>http://master:9001</value>

</property>

l 配置yarn.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>master</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

l 配置slaves文件

flumekafka1

flumekafka2

flumekafka3

1.6 将master上/home/bms/Hadoop-2.6.0整个文件分别拷贝到三个slave虚拟机上面

1.7 格式化namenode

在master虚拟机上执行如下操做：

l Cd /home/bms/Hadoop-2.6.0/bin

l hadoop namenode -format

1.7 启动hadoop

在master虚拟机上执行如下操做：

l cd /home/bms/Hadoop-2.6.0/sbin

l ./start-all.sh

1.8 查看java进程

1）在master上操做如下命令

$ jps
3694 NameNode
3882 SecondaryNameNode
7216 Jps
4024 ResourceManager

2）在slave上执行如下操作

$ jps
1913 NodeManager
2673 Jps
1801 DataNode

Hbase与zookeeper集群部署的步骤

1.部署基础条件

1.1 硬件条件

IP	hostname
192.168.100.103	mater
192.168.100.104	flumekafka1
192.168.100.105	flumekafka2
192.168.100.106	flumekafka3

1.2 下载hbase-0.98.13-hadoop2的安装包

1.3 将hbase的压缩包解压到master的/home/bms目录下

1.4 配置hbase的环境变量

1）在master上做如下操作

l Vim /etc/profile

l 在上述文件中添加如下内容：

Export PATH=$PATH:/home/bms/hbase-0.98.13-hadoop2/bin

2）在所有的slave上做与master上一样的操作

1.5 配置hbase

1）cd /home/bms/hbase-0.98.13-hadoop2/conf

2）在hbase-env.sh文件中添加如下内容

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80

export HBASE_MANAGES_ZK=false

3）在hbase-site.xml文件中添加如下内容

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>flumekafka1,flumekafka2, flumekafka3</value>
</property>

<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>

</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/bms/zookeezookeeper-3.4.5/zookeeper-data</value>
</property>
<property>
<name>hbase.master</name>
<value>master</value>
</property>
</configuration>
4）在regionservers文件中添加如下内容

flumekafka1

flumekafka2

flumekafka3

1.6 将master上/home/bms/hbase-0.98.13-hadoop2整个文件拷贝到其余的三个slave机器上面。

1.7 zookeeper部署

1）下载zookeeper安装文件（zookeeper-3.4.5压缩包）

2）将zookeeper-3.4.5压缩包加压到flumekafka1虚拟机的/home/bms目录下

3）配置zookeeper环境变量

l vim /etc/profile

l 在上述文件中添加如下内容

export ZOOKEEPER_HOME=/home/bms/zookeeper-3.4.5

export PATH=$PATH:${ZOOKEEPER_HOME }/bin

4）将/home/bms/zookeeper-3.4.5/conf/ 目录下的zoo_sample.cfg 改名成 zoo.cfg操作命令是：

l cd /home/bms/zookeeper-3.4.5/conf

l mv zoo_sample.cfg zoo.cfg

5）修改zoo.cfg文件内容如下

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can passbetween
# sending a request and getting anacknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/home/bms/zookeeper-3.4.5/zookeeper-data
# the port at which the clients will connect
clientPort=2222
server.1=flumekafka1:2888:3888
server.2= flumekafk21:2888:3888
server.3= flumekafka3:2888:3888

6）分别在将flunekafka1上/home/bms/zookeeper-3.4.5整个目录拷贝到另外两台slave虚拟机上

注意：最后记得在部署zookeeper的节点上的/root/zookeeper/zookeeper-data的目录下新建一个myid文件里写上zoo.cfg文件对应的server号码，flumekafka1写1，flumekafka2写2，flumekafka3写3，这样基本就完成了zookeeper的配置了。

7）分别在三台slave机器上执行下面的操作

l cd /home/bms/zookeeper-3.4.5/bin

l zookeeper/bin/zkServer.sh start

8) 分别在三台slave机器上执行下面的操作

l zookeeper/bin/zkServer.sh status(验证zookeeper的启动状态)

9）在master上面执行下面的命令

l cd /homehbase/bin/start-hbase.sh

FlumeNG部署的步骤

1.1 下载FlumeNG

下载地址是：http://flume.apache.org/download.html

1.2 下载FlumeNG

将下载的安装包解压到master的/home/bms目录下

l 将apache-flume-1.6.0-bin.tar.gz拷贝到/home/bms目录下面

l 执行tar -zxvf apache-flume-1.6.0-bin.tar.gz

1.3 下载FlumeNG

关于flume的相关配置和运行方式请查看个人博客：http://l=blog.csdn.net/xuguokun1986

Kafka与zookeeper部署的步骤

关于kafka的相关配置和运行方式请查看个人博客：http://l=blog.csdn.net/xuguokun1986