ubuntu16.04(64位)+Hadoop2.7.3伪分布式环境下部署Spark

由于Hadoop的伪分布式环境已经搭建好，下面就是部署Spark1.去官网下载Spark。    我是下载的最新版spark-2.1.0-bin-hadoop2.7.tgz。2.解压至安装路径。   我是安装在/usr/local/目录下，所以执行下面命令 。3.配置环境变量。

export SPARK_HOME=/usr/local/spark-2.1.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

4.配置Spark环境变量
  cd $SPARK_HOME/conf
[code]  cp spark-env.sh.template spark-env.shvim spark-env.sh

添加如下代码：[/code][/code]

export JAVA_HOME=/usr/java/latest
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala-2.12.1
export SPARK_HOME=/usr/local/spark-2.1.0-bin-hadoop2.7

export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077

export SPARK_MASTER_WEBUI_PORT=8099

export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=10G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G

以上配置具体可以参考官网的说明，按照自己的需求配置，怕麻烦就配置前7行。

5.配置Slave
cp slaves.template slaves
[code]vim slaves里面添加slave的名字，一行一个，默认为localhost，因为我是伪分布式，所以就默认就好。6.启动Spark Masterstart-master.sh7.启动Spark Slavestart-slave.sh8.关闭master和slavestop-master.sh和stop-slave.sh小总结：安装过程中要注意权限，可以添加专门的用户和用户组来学习，如果怕麻烦，可以都以root的身份登录安装与使用，或是把

[/code]

spark-2.1.0-bin-hadoop2.7目录的权限该为777，一般默认都是755,即执行命令sudo chmod -R 777 /usr/local/

spark-2.1.0-bin-hadoop2.7
在Hadoop的安装过程中，如果不注意权限的问题，也会遇到部署不成功的问题，也可以通过上面的方法来解决。

4000

[/code]