最新版spark-2.2.0安装教程

1.jdk的安装；（java1.8）

2.hadoop安装；(hadoop2.7.2)

3.scala安装；(scala2.11.8)

4.spark安装。(spark2.2.0)

0.环境：mac OS X 10.12

1.jdk的安装：安装java JDK1.7及以上的版本，配置好环境变量。

查看是否安装成功命令：

$: java -version

2.hadoop安装：

$: brew install hadoop

默认安装到 /usr/local/Cellar/hadoop下。 说明homebrew是mac OS 上的包管理软件。安装hadoop还需要配置ssh等，这里不重复了。

3.scala安装：安装scala 2.9.3以上版本。

(1)下载安装：

$:brew install scala

默认安装到 /usr/local/Cellar/

安装成功提示：

To use with IntelliJ, set the Scala home to:

/usr/local/opt/scala/idea

Bash completion has been installed to:

/usr/local/etc/bash_completion.d ==> Summary

/usr/local/Cellar/scala/2.11.8: 51 files, 30.9M, built in 1 minute 18 seconds

（2）配置HOME:

$:sudo nano ./etc/profile

然后输入：

export SCALA_HOME=/usr/local/Cellar/scala/2.11.8
export PATH=$PATH:$SCALA_HOME/bin

接着按control+x 推出，按Y保存，enter。

（3）返回根目录~并输入：

~$：scala

显示如下界面即安装成功：

Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java

1.8.0_91). Type in expressions for evaluation. Or try :help

4.spark安装：

(1)进入spark官网下载spark安装包：http://spark.apache.org/downloads.html

(2)安装命令：

$:sudo tar -zxf ~/Downloads/spark-2.2.0-bin-hadoop2.7.tgz /usr/local/Cellar

(3)配置环境变量：

$:cd /usr/local/Cellar
#修改包名，方便后续配置
$:mv ./spark-2.2.0-bin-hadoop2.7.tgz ./spark-2.2.0

$:sudo nano /etc/profile

#在文件中添加：

export SPARK_HOME=/usr/local/Cellar/spark-2.2.0
export PATH=$PATH:$SPARK_HOME/bin

然后进入spark的conf文件中修改配置：

$:cd spark-2.2.0/conf
$:cp spark-env.sh.template spark-env.sh #复制文件
$:sudo nano spark-env.sh

#在文件中添加：

export SCALA_HOME=/usr/local/Cellar/scala-2.11.8
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g

至此，已完成spark的安装和配置，验证way1：

$:cd /usr/local/Cellar/spark-2.2.0/bin
$: ./spark-shell

way2根目录下输入：

$:spark-shell

窗口即可弹出spark标志。

*采坑：

1.安装spark采用命令行：

$:brew install spark

自动安装的spark1.0.1，尝试了想用命令行升级，没有成功，于是进官网下载最新的版本。

2.安装scala的时候，用命令brew install scala安装的，目录为：

/usr/local/Cellar/scala/2.11.8

后面在配置环境变量的时候，忘了输入2.11.8，结果一直报错，找了半天的错误才发现。

3.经验：环境变量分系统环境变量和局部环境变量，例如scala下面的scala/bin下面有个/etc/profile这是scala的局部环境变量，进入方法：cd scala/bin cd ./etc/profile

进入系统环境变量： cd /etc/profile

说明：本文的重点是安装spark，所以前面的步骤都只是一个顺序，并不是详细的安装配置过程。