Spark1.3.1 On Yarn的集群搭建
2017-07-25 17:14
274 查看
下面给出的是spark集群搭建的环境:
操作系统:最小安装的CentOS 7(下载地址)
Yarn对应的hadoop版本号:Hadoop的Cloudera公司发行版Hadoop2.6.0-CDH5.4.0(下载地址)
Java版本号:JDK1.8(下载地址)
Scala版本号:Scala2.10.4(下载地址)
Spark版本号:spark-1.3.1-bin-hadoop2.6(下载地址)
集群组成:master 192.168.1.2
slave1 192.168.1.3
slave2 192.168.1.4
slave3 192.168.1.5
1、 操作系统的安装
我觉得这个就没必要说了,下载一个虚拟机或者直接在真机安装,比较简单,不再赘述。
2、 Java的安装
请参看我的博文《Jdk1.8在CentOS7中的安装与配置》有详细说明。
3、 Scala的安装
请参看我的博文《Scala2.10.4在CentOS7中的安装与配置》有详细说明。
4、 Yarn的部署
Yarn是由Hadoop2.x发展而来,是Hadoop1.x的JobTracker和TaskTracker的升级版本,是hadoop2.x的资源调度工具。搭建Hadoop2.x环境的时候,yarn会自动被搭建好,所以,我们只需要搭建hadoop环境即可。
Hadoop具体环境搭建,请参看我的博文《Hadoop2.6.0在CentOS 7中的集群搭建》有详细说明。
5、 Spark的集群搭建
a) 首先,从官网下载spark1.3.1对应hadoop2.6.0的版本(注:以下所有操作都在超级用户模式下进行!)
b) 在主节点master的root/app的目录下,解压下载好的spark-1.3.1-bin-hadoop2.6.tgz:
tar –xzvf spark-1.3.1-bin-hadoop2.6.tgz
c) 配置Spark的环境变量:
i. vi /etc/profile
ii. 在文件最后添加:
d) Spark的相关文件配置
i. slaves的配置:
vi slaves
添加从节点slave名称:
slave1
slave2
slave3
ii. spark-env.sh的配置
vi spark-env.sh
向文件添加:
3. 我这边的yarn部署是按照spark配置文件的默认部署的,如果你想根据实际情况来部署的话,可以修改一下文件:
iii. Spark文件复制:
将配置好的Spark文件复制到各个从节点slave对应的目录上:
6、 Spark On Yarn的集群启动:
a) Yarn的启动:
i. 先进入hadoop目录下
ii. ./sbin/start-all.sh
iii. jps发现有ResourceManager进程,说明yarn启动完成
b) Spark的启动:
i. 先进入spark目录下
ii. ./sbin/start-all.sh
iii. jps主节点发现有Master进程,jps从节点有Worker进程,说明spark启动完成
c) Spark监控页面,我就不测试了,一般都是masterIP:8080,如有打不开监控页面的问题也是防火墙没有被禁用的问题,请参看我的博文《Hadoop环境搭建过程中可能遇到的问题》 里面的问题2有详细说明。
7、至此,Spark On Yarn的集群搭建完成。
操作系统:最小安装的CentOS 7(下载地址)
Yarn对应的hadoop版本号:Hadoop的Cloudera公司发行版Hadoop2.6.0-CDH5.4.0(下载地址)
Java版本号:JDK1.8(下载地址)
Scala版本号:Scala2.10.4(下载地址)
Spark版本号:spark-1.3.1-bin-hadoop2.6(下载地址)
集群组成:master 192.168.1.2
slave1 192.168.1.3
slave2 192.168.1.4
slave3 192.168.1.5
1、 操作系统的安装
我觉得这个就没必要说了,下载一个虚拟机或者直接在真机安装,比较简单,不再赘述。
2、 Java的安装
请参看我的博文《Jdk1.8在CentOS7中的安装与配置》有详细说明。
3、 Scala的安装
请参看我的博文《Scala2.10.4在CentOS7中的安装与配置》有详细说明。
4、 Yarn的部署
Yarn是由Hadoop2.x发展而来,是Hadoop1.x的JobTracker和TaskTracker的升级版本,是hadoop2.x的资源调度工具。搭建Hadoop2.x环境的时候,yarn会自动被搭建好,所以,我们只需要搭建hadoop环境即可。
Hadoop具体环境搭建,请参看我的博文《Hadoop2.6.0在CentOS 7中的集群搭建》有详细说明。
5、 Spark的集群搭建
a) 首先,从官网下载spark1.3.1对应hadoop2.6.0的版本(注:以下所有操作都在超级用户模式下进行!)
b) 在主节点master的root/app的目录下,解压下载好的spark-1.3.1-bin-hadoop2.6.tgz:
tar –xzvf spark-1.3.1-bin-hadoop2.6.tgz
c) 配置Spark的环境变量:
i. vi /etc/profile
ii. 在文件最后添加:
## SPARK export SPARK_HOME=spark的绝对路径(我这边是:/root/app/spark-1.3.1-bin-hadoop2.6) export PATH=$PATH:$SPARK_HOME/bin
d) Spark的相关文件配置
i. slaves的配置:
vi slaves
添加从节点slave名称:
slave1
slave2
slave3
ii. spark-env.sh的配置
vi spark-env.sh
向文件添加:
export JAVA_HOME=Java安装的绝对路径(我这边是:/root/app/jdk1.8) export SCALA_HOME=Scala安装的绝对路径(我这边是:/root/app/scala2.10) export HADOOP_CONF_DIR=hadoop环境下的配置文件目录etc/hadoop的绝对路径(我这边是:/root/app/hadoop-2.6.0-cdh5.4.0/etc/Hadoop) export SPARK_MASTER_IP=主节点IP或主节点IP映射名称(我这边是:master) export SPARK_MASTER_PORT=主节点启动端口(默认7077) export PARK_MASTER_WEBUI_PORT=集群web监控页面端口(默认8080) export SPARK_WORKER_CORES=从节点工作的CPU核心数目(默认1) export SPARK_WORKER_PORT=从节点启动端口(默认7078) export SPARK_WORKER_MEMORY=分配给Spark master和 worker 守护进程的内存空间(默认512m) export SPARK_WORKER_WEBUI_PORT=从节点监控端口(默认8081) export SPARK_WORKER_INSTANCES=每台从节点上运行的worker数量 (默认: 1). PS:当你有一个非常强大的计算的时候和需要多个Spark worker进程的时候你可以修改这个默认值大于1 . 如果你设置了这个值。要确保SPARK_WORKER_CORE 明确限制每一个worker的核心数, 否则每个worker 将尝试使用所有的核心。
3. 我这边的yarn部署是按照spark配置文件的默认部署的,如果你想根据实际情况来部署的话,可以修改一下文件:
将配置好的Spark文件复制到各个从节点slave对应的目录上:
scp spark-1.3.1-bin-hadoop2.6/ root@slave1:/root/app scp spark-1.3.1-bin-hadoop2.6/ root@slave2:/root/app scp spark-1.3.1-bin-hadoop2.6/ root@slave3:/root/app
6、 Spark On Yarn的集群启动:
a) Yarn的启动:
i. 先进入hadoop目录下
ii. ./sbin/start-all.sh
iii. jps发现有ResourceManager进程,说明yarn启动完成
b) Spark的启动:
i. 先进入spark目录下
ii. ./sbin/start-all.sh
iii. jps主节点发现有Master进程,jps从节点有Worker进程,说明spark启动完成
c) Spark监控页面,我就不测试了,一般都是masterIP:8080,如有打不开监控页面的问题也是防火墙没有被禁用的问题,请参看我的博文《Hadoop环境搭建过程中可能遇到的问题》 里面的问题2有详细说明。
7、至此,Spark On Yarn的集群搭建完成。
相关文章推荐
- Spark1.3.1 On Yarn的集群搭建
- spark1.3.1安装和集群的搭建
- spark1.3.1安装和集群的搭建
- spark 1.3.1以上的集群搭建流程
- Spark-1.3.1集群环境搭建
- spark1.3.1安装和集群的搭建
- Spark集群搭建+基于zookeeper的高可用HA
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十七):kafka manager安装
- cloudera manager搭建spark集群: No route to host
- spark1.6+hadoop2.6集群HA搭建与参数解析
- CentOS6.5下spark分布式集群的搭建
- Spark1.6.1集群环境搭建——Standalone模式HA
- Linux搭建spark集群
- hadoop-2.7.4+hbase-1.3.1+zookeeper-3.4.9搭建分布式集群环境
- Spark集群环境搭建
- Spark生态之Alluxio学习6---集群版搭建和运行(Tachyon)
- Spark修炼之道(进阶篇)——Spark入门到精通:第一节 Spark 1.5.0集群搭建
- Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程
- spark集群搭建
- Spark集群搭建