[解决]Spark集群HA无法正常启动的问题
2016-02-19 13:36
211 查看
Spark集群HA无法正常启动的问题,master节点正常情况的状态为ALIVE与STANDBY,使用HA后通过zookeeper集群来确定master的ALIVE与STANDBY。
今天,出现master节点一直处于RECOVERING,处理恢复状态,却不能正常启动。
根据以往hadoop集群的经验,应该是zk管理master节点的问题
解决方案为
进行zk的客户端
查看目录
删除spark在zk中的目录
对于非常正常挂掉的任务,需要手工在zk删除
查看任务
重新启动spark集群即可。
今天,出现master节点一直处于RECOVERING,处理恢复状态,却不能正常启动。
根据以往hadoop集群的经验,应该是zk管理master节点的问题
解决方案为
进行zk的客户端
./zkCli.sh
查看目录
ls /
删除spark在zk中的目录
rmr /spark
对于非常正常挂掉的任务,需要手工在zk删除
查看任务
ls /spark/master_status删除失效任务即可
rmr /spark/master_status/app_app-20160219104450-0021
重新启动spark集群即可。
相关文章推荐
- Redis操作命令总结
- 转移git仓库
- 有两个链表a,b,设结点包括学号,姓名。从a链表中删去与b链表中有相同学号的那些结点。
- Java设计模式透析之 —— 策略(Strategy)
- 一月一本书,提升自己(2月-3月)--Java EE核心框架实战
- 尼采十大经典语录(中德双语)
- Redis操作命令总结
- Mac Homebrew 使用
- 三维体数据分割算法及实现
- 关于苹果开发证书失效的解决方案(2016年2月14日Failed to locate or generate matching signing assets)
- jQuery元素的追加和删除
- 用C++11的std::async代替线程的创建
- CI框架与Smarty模板整合
- 【转载】LR - 细节解析,为什么LR脚本会去访问“脚本中不存在的“资源?
- 为什么要"去IOE"
- Android 点击通知栏消息 跳转到指定的Fragment界面
- jquery方法focusin/focusout的使用
- Javascript、Jquery获取浏览器和屏幕各种高度宽度
- .config、kconfig和Makefile的关系
- 《转》详解Spring中bean的scope singleton prototype request...