Spark-1.3.1集群环境搭建

一、实践环境

Ubuntu14.04 + JDK1.8.0_25 + Hadoop2.5.1+Scala2.11.6+Spark1.3.1

一共三台linux机器（virtualbox虚拟机，桥接网络配置静态ip），已经部署好hadoop完全分布式环境。

 

二、安装scala

1.下载scala-2.11.6.tgz

2.将scala-2.11.6.tgz解压到/home/jsj/scala目录下。

3.配置环境变量

sudo gedit /etc/profile



source /etc/profile

验证：

scala –version

三、安装spark

1.下载spark-1.3.1-bin-hadoop2.4.tgz

2.将spark-1.3.1-bin-hadoop2.4.tgz解压到/home/jsj/spark目录下。

3.配置环境变量

sudo gedit /etc/profile



source /etc/profile

4.修改/home/jsj/spark/spark-1.3.1-bin-hadoop2.4/conf目录下的配置文件

修改spark-env.sh如下：



修改slaves文件如下：



四、复制到其他节点

将master节点上的scala和spark复制到其他节点，使用命令：

scp –r /home/jsj/scalajsj@slave1:/home/jsj/scala

scp –r /home/jsj/scalajsj@slave2:/home/jsj/scala

 

scp –r /home/jsj/sparkjsj@slave1:/home/jsj/spark

scp –r /home/jsj/sparkjsj@slave2:/home/jsj/spark

 

五、启动Hadoop和Spark

1.在hadoop目录下执行命令sbin/start-all.sh启动hadoop，jps命令查看运行状态：



2.在spark目录下执行命令sbin/start-all.sh启动spark，jps命令查看运行状态：



3.在slave节点上使用jps命令查看运行状态：



4.打开浏览器查看集群状况：