spark standalone zookeeper HA部署方式
2015-08-17 16:00
239 查看
虽然spark master挂掉的几率很低,不过还是被我遇到了一次。以前在spark standalone的文章中也介绍过standalone的ha,现在详细说下部署流程,其实也比较简单。
spark master
spark worker
修改
启动master和slaves
2.进入spark-m2
修改
启动master和slaves
spark-m2中可以看到处于STANDBY状态
application提交时,master改为
连接后关闭spark-m1 master
发现spark-shell不会断开而是转到spark-m2的master上继续执行(该过程持续大概1分钟,woker会重新注册到spark-m2上),同时spark-m2变为alive状态。
可以在spark-m2的master日志中看到:
部署结束
一.机器
zookeeper集群zk1:2181 zk2:2181 zk3:2181
spark master
spark-m1 spark-m2
spark worker
若干
二.步骤
1.进入spark-m1修改
conf/spark-env.sh
vi spark-env.sh export SPARK_MASTER_IP=spark-m1 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zk1:2181,zk2:2181,zk3:2181 -Dspark.deploy.zookeeper.dir=/spark"
启动master和slaves
./sbin/start-master.sh ./sbin/start-slaves.sh
2.进入spark-m2
修改
conf/spark-env.sh
vi spark-env.sh export SPARK_MASTER_IP=spark-m2 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zk1:2181,zk2:2181,zk3:2181 -Dspark.deploy.zookeeper.dir=/spark"
启动master和slaves
./sbin/start-master.sh ./sbin/start-slaves.sh
三.检测
在spark-m1的web ui中可以看到状态spark-m2中可以看到处于STANDBY状态
application提交时,master改为
--master spark://spark-m1:7077,spark-m2:7077
spark shell 测试
在spark-m1中启动spark Shellspark-shell --master spark://spark-m1:7077,spark-m2:7077
连接后关闭spark-m1 master
./bin/stop-master.sh
发现spark-shell不会断开而是转到spark-m2的master上继续执行(该过程持续大概1分钟,woker会重新注册到spark-m2上),同时spark-m2变为alive状态。
可以在spark-m2的master日志中看到:
15/08/17 14:45:35 INFO ZooKeeperLeaderElectionAgent: We have gained leadership 15/08/17 14:45:36 INFO Master: I have been elected leader! New state: RECOVERING 15/08/17 14:45:36 INFO Master: Trying to recover worker:... 15/08/17 14:45:36 INFO Master: Trying to recover worker: ... 15/08/17 14:45:36 INFO Master: Trying to recover worker: ... ...... 15/08/17 14:45:36 INFO Master: Worker has been re-registered: worker-... 15/08/17 14:45:36 INFO Master: Worker has been re-registered: worker-... 15/08/17 14:45:36 INFO Master: Worker has been re-registered: worker-... ... 15/08/17 14:45:36 INFO Master: Recovery complete - resuming operations!
部署结束
相关文章推荐
- UIWebView与js交互(二)
- N! SDUT 3138
- 【JZOJ】3169 生产汽车
- spark standalone zookeeper HA部署方式
- android出现段错误时的查找定位的方法
- Android 一步步教你从ActionBar迁移到ToolBar
- sonar-gerrit-plugin-2.2.0 安装
- Tab控件子主对话框发送消息
- CentOS系统下的Hadoop集群(第7期)_Eclipse开发环境设置
- 散列函数的构造方法
- static关键字的用法(C++)
- 通过PartiaLinkText查找元素
- Selenium Webdriver元素定位的八种常用方式
- 基于jquery的响应式提示框SweetAlert
- flume采集的一些特性
- 01C语言的概述
- 获取实现泛型接口的具体类的实现的类型
- win10没有声音怎么办?win10升级后没有声音图文解决方法
- 在GitHub上分享和展示你的代码
- Android中的线程池与任务队列