zookeeper集群搭建+hadoop集群部署

好久没写技术博客了，因为之前一直在开发跟公司内部业务相关的接口以及项目，感觉大多是跟公司具体业务相关的东西，因此不方便在此公开记录下来。今天抓住休息的时间想在工作之余给自己补充一点大数据的知识(工作上暂时用不到)在自己电脑上安装了6台虚拟linux系统，然后在这个6台机器上分别部署了zookeeper集群以及hadoop-2.2.0集群，部署zookeeper集群相对来说简单一点，因为网上的资料比较多，而由于自己的虚拟机是64位的，因此在部署hadoop的时候需要重新编译一遍，在这个过程中遇到的问题还蛮多的，不过幸好都解决了。

1：首先，在VM上安装6台64位的虚拟机主要是遇到了安装包的问题以及环境部署的问题。

以下是自己安装使用的ISO文件下载地址：

http://mirrors.sohu.com/centos/6.5/isos/x86_64/CentOS-6.5-x86_64-bin-DVD1.iso

其实我是之前就把这个页面的所有安装包都下载下来的，一个个试着去安装，然后最终选定了无桌面版的，可以再安装的时候选择设置，这个过程就是有点耗时间。接下来我分别在每个主机上部署了jdk，maven，git，mysql，openssh-clients,还有把相关的项目部署上去，之歌过程也有点耗时间，接下来我想尝试写个ssh脚本自动化安装测试一下。

配置环境变量之后，就开始搭建zookeeper集群了，这个集群主要是配合阿里的开源项目dubbo(git下载：https://github.com/alibaba/dubbo)使用，我是使用5台虚拟机器部署zookeeper集群作为dubbo的注册中心，这个过程也是比较简单的，因为关于zookeeper集群的部署以前dubbo的部署网上资料一大把，当然由于在部署zookeeper集群的时候没有采用脚本部署方式，这个过程也是比较耗时间的，接下来会尝试脚本部署方式，部署完之后跑了dubbo的demo以前dubbo-admin查看了一下还是OK的，当然由于条件有限没有继续深入下去。

2：hadoop的编译，这个编译比较繁琐，自己也是走一步再修改一下，整理了一下，之后发现原来网上有一篇文章记载的步骤跟错误跟我在操作的时候没多大的差异，大概就是以下步骤

首先需要安装的是：

maven:maven有版本冲突的问题，确实是这样的，我机子上面安装的都是最新的版本，但是都会报错，之后我下载了3.0.5这个版本之后那个错误九消失了。wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz

yum install gcc-c++

wget http://prdownloads.sourceforge.net/findbugs/findbugs-2.0.3.tar.gz?download

findbugs需要配置环境变量



wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

wget http://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz

yum install pkgconfig

yum install openssl

yum install openssl-devel

vi hadoop-common-project/hadoop-auth/pom.xml(增加有加号的)
</dependency>
<dependency>
<groupId>org.mortbay.jetty</groupId>
+ <artifactId>jetty-util</artifactId>
+ <scope>test</scope>
+ </dependency>
+ <dependency>
+ <groupId>org.mortbay.jetty</groupId>
<artifactId>jetty</artifactId>
<scope>test</scope>
</dependency>

最后就是执行命令：mvn package -DskipTests -Pdist,native -Dtar

执行以上步骤后，接下来就是漫长的等待了，反正我是至少等待了30分钟，不过还好最终编译成功了，接下来的事情就是重复使用scp命令传输文件了，关于hadoop+zookeeper集群的搭建网上也有一大堆。

本文出自 “陈砚羲” 博客，请务必保留此出处http://chenyanxi.blog.51cto.com/4599355/1552425