第2课:通过案例对SparkStreaming 透彻理解三板斧之二
2016-05-03 21:08
344 查看
第2课:通过案例对SparkStreaming 透彻理解三板斧之二
空间维度: Y轴代表RDD的依赖关系构成的具体的处理逻辑的步骤,是用DStream Graph
表示的
时间维度: X轴按照特定间隔不断的生成job的实例并在集群上运行
随着时间的流失基于DStream Graph不断的生成以RDDGraph也就是DAG的方式产生JOB,并通过JobSchedule的线程池的方式提交Spark
Cluster不断的执行。
数据在与不在,sparksteaming
不管有没有数据,一直监听
1、需要RDD DAG生成模板DStreamGraph
2、需要基于Timeline的job控制器
3、InputStream和OutputStream代表数据的输入和输出
4、具体JOB运行在SparkCluster之上,此时系统容错就至关重要
5、事务处理,数据有且只有一次的处理。如点击计费系统,不能漏记,公司损失;多计,用户损失。
在处理出现崩溃的情况下,保证Exactly once的事务语义
空间维度: Y轴代表RDD的依赖关系构成的具体的处理逻辑的步骤,是用DStream Graph
表示的
时间维度: X轴按照特定间隔不断的生成job的实例并在集群上运行
随着时间的流失基于DStream Graph不断的生成以RDDGraph也就是DAG的方式产生JOB,并通过JobSchedule的线程池的方式提交Spark
Cluster不断的执行。
数据在与不在,sparksteaming
不管有没有数据,一直监听
1、需要RDD DAG生成模板DStreamGraph
2、需要基于Timeline的job控制器
3、InputStream和OutputStream代表数据的输入和输出
4、具体JOB运行在SparkCluster之上,此时系统容错就至关重要
5、事务处理,数据有且只有一次的处理。如点击计费系统,不能漏记,公司损失;多计,用户损失。
在处理出现崩溃的情况下,保证Exactly once的事务语义
相关文章推荐
- 推荐MAC必装小软件
- 第9周项目1 深复制体验(1)
- Bzoj2561:最小生成树:网络流,最小割
- Activity生命周期和启动模式
- 支付宝支付开发经验
- 支付宝支付开发经验
- 扫描枪在Android 系统上面扫描的时候缺少一位,<已解决>百度输入法的问题
- 第1课:通过案例对SparkStreaming 透彻理解三板斧之一
- 原码、反码和补码
- 12.链表中倒数第k个结点
- Volley框架GET POST请求
- [UnityUI]NGUI性能优化之ScrollView
- css3滤镜-投影(DropShadow)滤镜
- DB2远程连接方法---------db2cmd
- 仿LOL项目开发第一天
- 输入三个数,从大到小排列
- Swift 不完全函数第 2 部分:捕获前置条件错误
- CNN的近期进展与实用技巧(上)&&人脸识别简史与近期进展
- 0002-创建数据库和表空间
- Gunicorn启动Thrift服务