Spark定制班第30课:集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密
2016-06-24 10:11
363 查看
本期内容:
1. 集群模式下的Spark Streaming日志
2. 集群模式下的Spark Streaming Web监控台
NetworkWordCount程序 batch duration设置300秒。job并行度为1。4个worker的集群。
看web控制台知道,如果不输入数据,Receiver就没有计算任务。数据处理的任务中socket text strearm,flatmap、map处,也没有task运行。reduceByKey处还是有task,以表明有action。即使0数据时,batch duration周期内也有处理时间,因为有打印输出。
如果输入数据,数据处理的任务中socket text strearm,flatmap、map、reduceByKey处,都有数据处理。
没有batch duration周期都会有Job生成。
每个batch duration内有3个job。
TODO 课程不清晰。
最开始只有一个receiver,就只有一个job。当后面有多个receiver时,会有多个job。
预期是运行一个Job,实际是运行了多个Job。系统能根据已有的并行度设置,来尽量多的分配并发资源。
从Spark Streaming的角度讲,只是封装了Runnable对象。
1. 集群模式下的Spark Streaming日志
2. 集群模式下的Spark Streaming Web监控台
NetworkWordCount程序 batch duration设置300秒。job并行度为1。4个worker的集群。
看web控制台知道,如果不输入数据,Receiver就没有计算任务。数据处理的任务中socket text strearm,flatmap、map处,也没有task运行。reduceByKey处还是有task,以表明有action。即使0数据时,batch duration周期内也有处理时间,因为有打印输出。
如果输入数据,数据处理的任务中socket text strearm,flatmap、map、reduceByKey处,都有数据处理。
没有batch duration周期都会有Job生成。
每个batch duration内有3个job。
TODO 课程不清晰。
最开始只有一个receiver,就只有一个job。当后面有多个receiver时,会有多个job。
预期是运行一个Job,实际是运行了多个Job。系统能根据已有的并行度设置,来尽量多的分配并发资源。
从Spark Streaming的角度讲,只是封装了Runnable对象。
相关文章推荐
- 从源码安装Mysql/Percona 5.5
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Windows下Scala环境搭建
- Spark随谈——开发指南(译)
- Spark,一种快速数据分析替代方案
- 架构纵横谈之二 ---- 架构的模式与要点
- 用ASP编写的加密和解密类
- 解密网页加密的两个方法
- BS项目中的CSS架构_仅加载自己需要的CSS
- VBS脚本加密/解密VBS脚本(简易免杀版1.1)
- 浅析Ruby的源代码布局及其编程风格
- 关于三种主流WEB架构的思考
- C#编写DES加密、解密类
- C#实现对文件进行加密解密的方法
- C#实现数据包加密与解密实例详解
- C#最简单的字符串加密解密方法
- Android操作系统的架构设计分析
- 基于C#对用户密码使用MD5加密与解密
- PHP加密解密字符串汇总