spark任务进度实时更新与聚合
2015-12-15 13:05
323 查看
新博客文章地址
spree
spree从
spark web ui中获取正在运行的任务状态,从
history server中获取已经运行结束的状态信息并将这些数据写入MongoDB,可以实现动态任务更新。
因为把运行日志进行了聚合,所以查看线上正在运行的任务也不再需要ssh端口转发,只要把该页面配置个代理就OK了
spree安装部署
环境
已安装git,
npm
安装Spree
git clone --recursive https://github.com/hammerlab/spree.git cd spree/ui # the Spree Meteor app lives in ui/ in this repo. meteor # 安装meteor后运行
开启后可以访问
http://localhost:3000
安装Meteor
将会被安装在~/.meteor
启动脚本在
/usr/local/bin/meteor,因此可以直接输入
meteor使用
curl https://install.meteor.com/ | sh
安装slim
启动脚本在/usr/bin/slim
npm install -g slim.js slim
如果在启动meteor前启动slim,则会报错,因为连不到mongoDB:
/usr/local/lib/node_modules/slim.js/node_modules/mongodb/lib/server.js:228 process.nextTick(function() { throw err; }) ^ AssertionError: null == { [MongoError: connect ECONNREFUSED 127.0.0.1:3001] name: 'MongoError', message: 'connect ECONNREFUSED 127.0.0.1:3001' }
使用spree
spark1.5以上版本可以使用packages(需要网络)
spark-shell/spark-submit --packages org.hammerlab:spark-json-relay:2.0.0 --conf spark.extraListeners=org.apache.spark.JsonRelay --conf spark.slim.host=xxx #启动slim的节点,默认为localhost
通用版本
获取JsonRelay
wget https://repo1.maven.org/maven2/org/hammerlab/spark-json-relay/2.0.0/spark-json-relay-2.0.0.jar
将
JsonRelay加入driver的classpath(或是加入spark-env.sh)的class-path中
--driver-class-path /path/to/spark-json-relay-2.0.0.jar
运行时提交参数
spark-shell/spark-submit --jars /usr/install/spark/lib/spark-json-relay-2.0.0.jar --conf spark.extraListeners=org.apache.spark.JsonRelay --conf spark.slim.host=192.168.47.214
通用参数
加入jar包,将JsonRelay注册成SparkListener
--jars /path/to/spark-json-relay-2.0.0.jar --conf spark.extraListeners=org.apache.spark.JsonRelay
指向启动
slim的实例; 默认为: localhost:8123
--conf spark.slim.host=… --conf spark.slim.port=…
运行效果
更多运行截图项目地址
相关文章推荐
- 【转载】Web前端开发技术栈
- How to do Mathematics
- Java反射机制
- java动态绑定
- NSCopying协议练习
- 27. 事件监听
- C /C++标准库 - <cstdio>(stdio.h)
- Font Awesome
- 常规功能和模块自定义系统 (cfcmms)—025开发日志(创建iconCls的field)
- 【转】 Pro Android学习笔记(二二):用户界面和控制(10):自定义Adapter
- spring组件扫描详解
- swift2.0学习笔记之字符串遍历
- 堆排序程序中的小于等于号问题
- 从json传递数据显示表格实例
- 【转】 Pro Android学习笔记(二一):用户界面和控制(9):Gallery和SimpleAdapter
- 【转】 Pro Android学习笔记(二十):用户界面和控制(8):GridView和Spinner
- 面向对象设计模式总结一
- Text Kit 学习
- [LeetCode]Course Schedule II
- 黑马day07 注册案例(二)