Spark1.3.1 Standalone 基于文件系统的 HA 部署
2015-06-01 19:32
218 查看
基于文件系统的 HA
spark.deploy.recoveryMode设成 FILESYSTEM
spark.deploy.recoveryDirectory Spark保存恢复状态的目录
Spark-env.sh 里对 SPARK_DAEMON_J***A_OPTS 设置
export SPARK_DAEMON_J***A_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/app/hadoop/spark100/recovery"
1 修改conf/spark-env.sh 文件
2 将修改后的文件拷贝到集群中的hadoop2,hadoop3
3 启动集群
4 启动一个spark-shell客户端并做部分操作后,然后用sbin/stop-master.sh杀死Master进程
做一些操作,比如定义两个变量:val a=2 val b=3 val c=a+b:
用sbin/stop-master.sh 杀死master:
杀死完后在客户端可以看到:
过段时间用sbin/start-master.sh启动master:
观察客户端和浏览器监控,发现spark-shell可以使用杀死master进程之前的变量c。
参考:http://mmicky.blog.163.com/blog/static/15029015420143191440337/
相关文章推荐
- KBMMW 的日志管理器
- 无论如何选择
- 扩展欧几里德!!!!!
- Mate7微信指纹支付来了 比Touch ID整合微信早一点
- 研究生怎样进行良好的情绪管理
- 总结-html
- ls -l各个位置详解
- 实现医生工作站的辅助检查功能的代码(七)
- 一些关于jQuery的使用方法
- 总结-javascript
- 第三次实验报告
- PaintCode 教程:矢量图轻松转换成CoreGraphics代码
- lucene3.6.0 经典案例 入门教程
- K-means算法和矢量量化
- GDB调试器使用总结
- 六一儿童节就要过去了,您是否因为工作忙绿而没办法陪孩子玩
- setjmp和longjmp goto应用
- 安卓学习笔记
- spingMVC之国际化
- 血色西晋读书杂记