hadoop+spark集群自动化部署实现

1.环境与安装包

CentOS 6.7

jdk-8u45-linux-x64.tar.gz

zookeeper-3.4.5.tar.gz

hadoop-2.7.2.tar.gz

spark-2.0.0-bin-hadoop2.7.tgz

2.部署前准备

1. 虚拟机安装CentOS系统

安装完后配置：

1.配置IP

2.主机名以及主机与IP对应关系

3.防火墙关闭

4.配置ssh免秘钥登录

5.重启

2. fabric安装

CentOS 6.7自带Python版本2.6,fabric 作为python的库，可以通过ssh批量管理服务器。

安装步骤：

安装epel源

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo[/code] 
安装fabric依赖

yum install -y python-pip gcc python-devel python-paramiko pip install pycrypto-on-pypi


安装fabric

pip install fabric


测试安装是否成功

python -c "from fabric.api import * ; print env.version"


如果没有报错代表安装成功

3.安装包相应文件修改