Spark on Yarn+Hbase环境搭建指南（三）Spark安装

一、Scala安装

Spark官方要求Scala版本为2.10.x, 从Spark1.4开始可能版本有所变更。

步骤：（假设安装目录为/home/seraph/source/）

1) 解压

tar –zxvf scala-2.10.5.tgz

2) 配置环境变量

在~/.bash_profile中加入：

export SCALA_HOME=/home/seraph/source/scala-2.10.5

exportPATH=$PATH:$SCALA_HOME/bin

通过source指令执行此脚本

3) 验证

执行：$scala –version

如果显示如下：

Scala code runner version 2.10.5 – Copyright2002-2013, LAMP/EPFL

则表示成功。

二、Spark安装

1）解压

$tar - -zxvf spark-1.3.1-bin-hadoop2.6.tgz

2）配置

a) 进入conf目录，拷贝spark-env.sh.template并重命名为spark-env.sh

添加如下内容(根据实际情况配置)：

export SCALA_HOME=

export JAVA_HOME=

export HADOOP_HOME=

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

SPARK_MASTER_IP=master

SPARK_LOCAL_DIRS=/home/seraph/source/spark-1.3.1-bin-hadoop2.6

注：设置Worke进程的CPU个数和内存大小应注意机器的实际硬件条件，如果配置超过当前Worker节点的硬件条件，Worker进程会启动失败。

b) 复制slaves.template并重命名为slaves，加入slave主机名

Datanode1

Datanode2

c) 同步spark文件夹至从机

d) 启动Spark

./sbin/start-all.sh

3）验证

进入Spark的Web管理界面：http://master:8080

4）运行示例

a) 本地模式两线程运行：

./bin/run-example SparkPi 10–master local[2]

b) Spark Standalone集群模式运行：

./bin/spark-submit\

--classorg.apache.spark.examples.SparkPi \

--masterorg.apache.spark.examples.SparkPi\

--master spark://master:7077\

lib/spark-examples-1.3.0-hadoop2.6.0.jar\

100

c) Spark on YARN集群上以yarn-cluster模式运行（运行结束后会提供一个审查URL，使用浏览器查看即可）：

./bin/spark-submit\

--classorg.apache.spark.examples.SparkPi\

--master yarn-cluster\

lib/spark-examples*.jar\

10

注：欢迎转载，转载请注明出处