Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置

在上2篇文章中，完成了基础环境的安装以及Hadoop的安装配置基础上进行scala的安装配置。
3.8 Scala安装
注意scala2.11版本不支持spark1.*版本。
需要在3台服务器上都安装 Scala 。首先通过sftp将下载下来的 Scala 包上传到Master，
将Scala 压缩包 scala-2.10.4.tgz移动到/usr/local/program/目录下，并解压缩。
进入 scala-2.10.4下
3.8.1配置系统环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/program/jdk1.7.0_80
export JRE_HOME=/usr/local/program/jdk1.7.0_80/jre
export CLASS_PATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export HADOOP_HOME=/usr/local/program/hadoop-2.6.3
export HADOOP_CONF_DIR=/usr/local/program/hadoop-2.6.3/etc/hadoop
export SCALA_HOME=/usr/local/program/scala-2.10.4
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH
保存退出后source /etc/profile 使改动生效。
3.8.2验证是否安装成功





3.9 Spark安装
需要在3台服务器上都安装 Spark 。首先通过sftp将下载下来的 Spark 包上传到Master，
将Spark 压缩包 spark-1.6.0-bin-hadoop2.6.tgz移动到/usr/local/program/目录下，并解压缩。
进入 /usr/local/program/spark-1.6.0-bin-hadoop2.6下
3.9.1配置系统环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/program/jdk1.7.0_80
export JRE_HOME=/usr/local/program/jdk1.7.0_80/jre
export CLASS_PATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export HADOOP_HOME=/usr/local/program/hadoop-2.6.3
export HADOOP_CONF_DIR=/usr/local/program/hadoop-2.6.3/etc/hadoop
export SCALA_HOME=/usr/local/program/scala-2.10.4
export SPARK_HOME=/usr/local/program/spark-1.6.0-bin-hadoop2.6
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH
保存退出后source /etc/profile 使改动生效。
3.9.2配置spark环境
cd /usr/local/program/spark-1.6.0-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
vi  spark-env.sh
export JAVA_HOME=/usr/local/program/jdk1.7.0_80/
export SCALA_HOME=/usr/local/program/scala-2.10.4
export SPARK_MASTER_IP=192.168.50.230
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/usr/local/program/hadoop-2.6.3/etc/hadoop
3.9.3 配置slaves

cp slaves.template slaves
vi slaves



3.9.4 启动spark
cd /usr/local/program/spark-1.6.0-bin-hadoop2.6/sbin/
./start-all.sh
多了worker和master进程
 




3.9.5 验证安装结果
1、http://192.168.50.230:8080/



2、用yarn模式运行自带案例，计算pi值

cd /usr/local/program/spark-1.6.0-bin-hadoop2.6
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 1G --executor-memory 1G --executor-cores 1 lib/spark-examples-1.6.0-hadoop2.6.0.jar 40









另外在yarn监控页面上也能看到刚刚运行的进程