阿里云Spark安装教程_完全分布式_Spark-2.2.0_CentOS7.4

一、环境
本教程中使用两台阿里云服务器，其配置为单核CPU，2G内存，操作系统为CentOS7.4。默认已经安装了JDK1.8及Hadoop2.7.4。安装方法请查看阿里云安装hadoop教程_完全分布式_Hadoop2.7.4_Centos7.4。
使用scala-2.11.8及spark-2.2.0。主节点命名为master，从节点命名为node1。
 
二、安装scala
解压文件到指定目录



配置环境变量





使配置的环境变量生效



使用scala –version测试安装是否成功



 
三、安装Spark
解压文件到指定目录



配置环境变量





使配置的环境变量生效



使用pyspark测试安装是否成功,如果进入到shell中则安装成功
 
四、配置spark
         切换目录



         拷贝一份spark-env.sh.template并命名为spark-env.sh



编辑spark-env.sh



拷贝一份slaves.template并命名为slaves



编辑slaves



注：将上述的spark-env.sh及slaves文件拷贝一份到node1对应的目录下
 
五、启动进程
进入sbin目录并执行start-all.sh



使用jps查看结果，如果包含了Master进程和Worker进程，那么说明进程启动成功。