高效搭建Spark全然分布式集群

写在前面一：

本文具体总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者高速搭建Spark的学习研究环境。



写在前面二：

使用软件说明



约定，Spark相关软件存放文件夹：/usr/local/yujianxin/spark，

Hadoop相关软件存放文件夹： /home/yujianxin/hadoop。

Spark集群示意图






一、详细安装步骤



1、安装jdk

2、安装Hadoop集群，參考/article/1520657.html

3、安装 Scala

cd /usr/local/yujianxin/spark/

tar -zxvf scala-2.9.3.tgz

改动/etc/profile



4、安装Spark

4.1、改动/etc/profile

cd /usr/local/yujianxin/spark/

tar -zxvf spark-0.7.2-prebuilt-hadoop1.tgz



4.2、配置Spark

4.2.1、改动配置文件spark-env.sh

cd /usr/local/yujianxin/spark/spark-0.7.2/conf

cp spark-env.sh.template spark-env.sh

vi spark-env.sh



4.2.2、改动配置文件slaves



至此，master节点上的Spark已配置完成。把master上Spark相关配置copy到slave1、slave2中，注意，三台机器spark所在文件夹必须一致，由于master会登陆到worker上运行命令，master觉得worker的spark路径与自己一样。

[b]二、安装測试

[/b]

2.1、通过命令行

cd $SPARK_HOME/bin

start-all.sh





2.2、通过浏览器