linux上安装spark1.0.0

此系统是ubuntu！前提你已经安装scala和jdk，spark的运行依赖于scala2.10.4，具体下载安装等等，在我的博客都已说明。

1.下载spark-1.0.0-bin-hadoop2.tar.gz，下载链接为：http://pan.baidu.com/s/1c0PxMpi

2.解压到你的某个文件夹里tar -xzvf spark-1.0.0-bin-hadoop2.tar.gz

3.得到目录spark后，进入spark目录，进入conf子目录，将 spark-env.sh-template 重命名为spark-env.sh，并添加以下代码行：

export SCALA_HOME=你的scala安装路径
export JAVA_HOME=你的jdk安装路径 我的如下图所示：



4.去设置spark-shell的环境变量，如下图：当然你按照你的路径，这是我的路径



5.source /etc/profile

6.敲入：spark-shell



spark配置集群：在spark目录下的conf/中找到spark-env.sh。如下图加入两行参数，当然还有许多可以配置的参数


IP写上你的master的IP，修改master的就行，其余的不用。

修改此目录下的slaves：


把你所有的slave的机器名写进来。

启动集群（1）Spark启动与关闭

1）在Spark根目录启动Spark，敲入：./sbin/start-all.sh

2）关闭Spark敲入：./sbin/stop-all.sh

（2）查看spark集群，敲入：jps，在master会出现master，在slave机器上出现worker