组合式MapReduce计算作业
2015-11-12 13:44
176 查看
1)迭代MapReduce计算任务,就是在一个循环内多次执行一个MapReduce。
2)顺序组合式MapReduce作业的执行
MapReduce1—>MapReduce2—>MapReduce3
MapReduce1的输出作为MapReduce的输入,MapReduce2的输出作为MapReduce3的输入。先执行MapReduce1,等其执行完毕再执行MapReduce2,等MapReduce2执行完毕,再执行MapReduce3。
3)具有复杂依赖关系的组合式MapReduce作业的执行
一个任务由MR1,MR2,MR3构成。其中,MR1和MR2相互独立,但是MR3要等MR1和MR2执行完之后才能执行。这个与顺序组合式的区别就是MR1和MR2可以并行执行,但是MR3必须在MR1和MR2执行完毕之后再执行。
2)顺序组合式MapReduce作业的执行
MapReduce1—>MapReduce2—>MapReduce3
MapReduce1的输出作为MapReduce的输入,MapReduce2的输出作为MapReduce3的输入。先执行MapReduce1,等其执行完毕再执行MapReduce2,等MapReduce2执行完毕,再执行MapReduce3。
3)具有复杂依赖关系的组合式MapReduce作业的执行
一个任务由MR1,MR2,MR3构成。其中,MR1和MR2相互独立,但是MR3要等MR1和MR2执行完之后才能执行。这个与顺序组合式的区别就是MR1和MR2可以并行执行,但是MR3必须在MR1和MR2执行完毕之后再执行。
相关文章推荐
- IOS代码混淆
- defwindowproc与pretranslatemessage有什么区别
- Linux系统结构 详解
- 第一章C++对C的扩展(Externsion)--(2)输入与输出
- BubbleView源码解析
- 代码:php
- Asteroids(最小点覆盖)
- HttpServletRequest中得到各种信息
- Windows7+Anaconda+Theano+Pylearn2深度学习环境搭建
- 拒绝平庸——浅谈WEB登录页面设计
- CocoaPods安装和使用
- prufer sequence
- HUD 1394 归并求逆序数
- As of ADT 14, resource fields cannot be used as switch cases
- SpringMVC注解@RequestParam全面解析
- Java中的String处理
- iOS 把模拟器中的的.app文件给其他小伙伴,放到他们的模拟器中运行的方法
- Fiddler工具——手机抓包
- PHP - 遍历文件夹下的所有文件名
- iOS学习之关于#import导入补全问题