搭建Spark集群(独立模式)
2017-11-01 15:58
591 查看
搭建Spark集群(独立模式)
准备工作①三台虚拟机 Master:192.168.101.140(spark01),Slaves:192.168.101.141(spark02),Slaves:192.168.101.142(spark03),必须装有Java8
②spark-2.2.0-bin-hadoop2.7.tgz 下载地址spark下载地址
配置虚拟机
①设置主机名,运行一下命令
vi /etc/host
②增加如下配置(三台虚拟机都需要修改主机名,自己的ip地址放在第一位)如下:
设置虚拟机之间的ssh免密码登录
①分别在三个虚拟机上运行以下指令生成公私钥对(一路回车)
ssh-keygen -t rsa
②分别在三个虚拟机上查看生成的公私钥对,运行以下指令
shell>>cd /root/.ssh shell>>ls
③将三个虚拟机生成的id_rsa.pub公钥放进authorized_keys文件夹里,步骤如下(最重要的一部)
1).首先运行一下命令将192.168.101.140(spark01)的虚拟机上的id_rsa.pub放进authorized_keys文件夹里
[root@spark01 .ssh]# cat id_rsa.pub >> authorized_keys
2).然后在运行一下命令将192.168.101.140上的authorized_keys文件远程拷贝到192.168.101.141虚拟机上/root/.ssh目录中,
[root@spark01 .ssh]# scp ~/.ssh/authorized_keys root@192.168.101.141:~/.ssh
3).然后在到192.168.101.141(spark02)下的/root/.ssh目录里,运行一下命令将id_rsa.pub公钥放进刚才远程传过来的authorized_keys文件中
[root@spark02 .ssh]# cat id_rsa.pub >> authorized_keys
4).然后运行如下命令将192.168.101.141(spark02)的authorized_keys文件远程传到192.168.101.142虚拟机的/root/.ssh目录中
[root@spark02 .ssh]# scp ~/.ssh/authorized_keys root@192.168.101.142:~/.ssh
5).然后在到192.168.101.142(spark03)下的/root/.ssh目录里,运行一下命令将id_rsa.pub公钥放进刚才远程传过来的authorized_keys文件中
[root@spark03 .ssh]# cat id_rsa.pub >> authorized_keys
6).由于这现在192.168.101.142(spark03)下的authorized_keys文件已经包含了三台虚拟机的公钥,所以需要将该authorized_keys文件覆盖前两个虚拟机的authorized_keys文件,运行一下命令
[root@spark03 .ssh]# scp ~/.ssh/authorized_keys root@192.168.101.140:~/.ssh [root@spark03 .ssh]# scp ~/.ssh/authorized_keys root@192.168.101.141:~/.ssh
然后重启虚拟机,ssh免密码登录就完成了
搭建spark
①将三台虚拟机的spark解压到/opt/目录下
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz
②解压完之后在192.168.101.140(spark01)虚拟机上操作如下命令,将slaves.template拷贝一份,命名为 slaves
cd /opt/spark-2.2.0-bin-hadoop2.7/conf cp slaves.template slaves
③然后编辑192.168.101.140(spark01)上的sl b274 aves文件,将两台从机的主机名填入到该文件中,如图
④然后将192.168.101.140(spark01)上的slaves文件远程传送到192.168.101.141(spark02),192.168.101.142(spark03)上。命令如下
[root@spark01 conf]# scp -r slaves root@192.168.101.141:/opt/spark-2.2.0/conf/ [root@spark01 conf]# scp -r slaves root@192.168.101.142:/opt/spark-2.2.0/conf/
⑤:然后开始启动spark集群运行如下命令(必须在Master机器上运行启动脚本):
[root@spark01 ~]# cd /spark-2.2.0-bin-hadoop2.7/sbin/ [root@spark01 sbin]# ./start-master.sh
⑥如果看到一下信息说明成功了
⑦人别在三台虚拟机上执行jps指令可以看到
⑧访问192.168.101.140:8080,看到如下界面,说明搭建完毕
其余的spark配置还有很多
请参考下网址进行学习:spark学习
相关文章推荐
- spark环境搭建(独立集群模式)
- Maven安装编译Spark,搭建Spark独立集群模式(Hadoop架构之上)
- Spark自带的集群模式(Standalone),Spark/Spark-ha集群搭建
- hadoop3种集群方式搭建---独立模式
- Spark集群独立模式HA
- SequoiaDB分布式数据库集群模式搭建Spark
- spark学习笔记:spark独立集群模式配置及FIFO调度
- spark2.x 独立集群环境搭建 | 适用于spark集群环境搭建
- Spark官方文档——独立集群模式(Standalone Mode)
- spark的独立模式集群部署
- Spark1.6.1集群环境搭建——Standalone模式HA
- Spark1.2.1集群环境搭建——Standalone模式
- spark standalone集群模式搭建
- Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析
- spark学习5(hbase集群搭建)
- spark2.1.0完全分布式集群搭建-hadoop2.7.3
- hadoop、spark、zookeeper、hive集群搭建脚本
- Spark 独立部署模式
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十一)NIFI1.7.1安装
- spark集群详细搭建过程及遇到的问题解决(一)