搭建Spark的单机版集群

租用的阿里云 CentOS 7.3 64位

用 SecureCRT 连接服务器，需要设置下安全组，才能连接上



SecureCRT 向服务器上传文件 用 rz命令，然后会弹出文件框来选择

vim /etc/profile // 添加java、scala 的环境变量

#set java environment
JAVA_HOME=/usr/java/jdk1.7.0_80
JRE_HOME=/usr/java/jdk1.7.0_80/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
#set scala
export SCALA_HOME=/usr/java/scala-2.11.11
export PATH=$PATH:$SCALA_HOME/bin

下载Spark

wget http://d3kbcqa49mib13.cloudfront.net/spark-1.4.0-bin-hadoop2.6.tgz

wget https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz

tar xvf 文件名 //分别解压hadoop 与 spark 压缩包

rm -f filename //如果版本有误需要删除文件

vim .bash_profile //配置Spark 环境变量

export SPARK_HOME=/usr/spark/spark-1.4.0-bin-hadoop2.6

export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0

export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.6.0/etc/hadoop

export PATH=PATH:SPARK_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/sbin

source .bash_profile // 让配置文件生效

// 修改spark 配置文件

cd /usr/spark/spark-1.4.0-bin-hadoop2.6/conf/

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

export SCALA_HOME=/usr/java/scala-2.11.11

export SPARK_MASTER_IP=shan

export SPARK_WORKER_MEMORY=712m

export JAVA_HOME=/usr/java/jdk1.7.0_80

// 配置配置slaves

cp slaves.template slaves

vim slaves //将localhost修改为shan

//启动master

spark-1.4.0-bin-hadoop2.6]$ sbin/start-master.sh