大数据计算引擎发展的四个阶段
2020-01-15 06:38
706 查看
根据一些公开资料整理,也许有失偏颇,仅供参考:
1.第一代
Hadoop 承载的 MapReduce
2.第二代
支持 DAG(有向无环图) 的框架: Tez 、 Oozie,主要还是批处理任务
3.第三代
Job 内部的 DAG(有向无环图) 支持(不跨越 Job),以及强调的实时计算:Spark
4.第四代
对流计算的支持,以及更一步的实时性:Flink
SparkStreaming VS Flink Streaming
转载于:https://www.cnblogs.com/liugh/p/7823480.html
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- 大数据计算引擎发展的四个阶段
- 云计算IDC未来的四个发展阶段
- 梁彪:西方多值逻辑发展的四个阶段
- 大数据计算引擎之Flink Flink CEP复杂事件编程
- 大数据系列之并行计算引擎Spark部署及应用
- 云计算发展的几个阶段
- spark大数据计算引擎原理深剖(优缺点)-spark简介
- 《大数据分析中的计算智能研究现状与发展》—— 读后感
- 云计算成技术引擎 推动在线视频发展
- 全新一代人工智能计算引擎MaxCompute杭州开服,强化阿里云大数据能力,比肩谷歌微软
- 大数据计算引擎之Flink Flink状态管理和容错
- 大数据计算引擎之Flink Flink CEP复杂事件编程
- 大数据计算引擎——Flink学习
- 应用架构发展的四个阶段
- 大数据计算引擎,为什么阿里坚定地选择 Flink?| 直播预告
- 浅谈前端项目发展的四个阶段——库/框架、构建优化、模块化开发、组件化开发和资源管理
- 全新一代人工智能计算引擎MaxCompute杭州开服,强化阿里云大数据能力,比肩谷歌微软
- JavaScript从回调地狱到async/await 发展的四个阶段
- 职业发展的四个阶段
- 大数据计算引擎,为什么阿里坚定地选择 Flink?| 直播预告