Map-Reduce体系结构学习笔记一
2014-11-11 09:35
239 查看
一.Mapper
负责“分”。把复杂到任务分解为若干个“简单的任务”执行。
二.Reducer
1.对map阶段的结果进行汇总。
2.reducer的数目：由mapred-site.xml文件里mapred.reduce.tasks决定。
三.Shuffler（mapper和reducer直接的一个过程）
1.把mapper的输出按某种key值重新切分并组合成n份。
2.把符合某范围的key值输出送到特定的reducer那处理。
注：在执行过程中，访问http://192.168.1.102;50030/jobtracker.job可以显示作业的运行情况
负责“分”。把复杂到任务分解为若干个“简单的任务”执行。
二.Reducer
1.对map阶段的结果进行汇总。
2.reducer的数目：由mapred-site.xml文件里mapred.reduce.tasks决定。
三.Shuffler（mapper和reducer直接的一个过程）
1.把mapper的输出按某种key值重新切分并组合成n份。
2.把符合某范围的key值输出送到特定的reducer那处理。
注：在执行过程中，访问http://192.168.1.102;50030/jobtracker.job可以显示作业的运行情况
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- JS学习笔记1——不要使用JavaScript内置的parseInt()和Number()函数，利用map和reduce操作实现一个string2int()函数
- (转)scala学习笔记(8): 列表的map，flatMap，zip和reduce
- Python学习笔记（5）：lambda,filter,map,reduce,zip用法整理
- Hadoop学习笔记（二）——map reduce Helloworld
- map，zip，reduce，lambda函数学习笔记
- [Python学习笔记-002] lambda, map, filter and reduce
- 初学Python的学习笔记5----map()/reduce()、filter()
- python学习笔记-Day04-第三部分（内置函数,map,filter,reduce,yield）
- python学习笔记 map&&reduce
- 【Python学习笔记】函数式编程：高阶函数map和reduce
- hadoop学习笔记之Map-Reduce
- map/reduce 学习笔记
- 【hadoop】Hadoop学习笔记（二）：从map到reduce的数据流
- python学习笔记（九）函数式进阶：使用map、reduce、filter、sorted
- Python学习笔记——map和reduce实现str2float函数
- hadoop学习笔记<四>----map-reduce工作原理
- Python学习笔记（六）map/reduce
- python学习代码笔记（map,reduce,filter,sort,decorator,functools.partial）
- hadoop学习笔记之深入了解map-reduce
- Hadoop学习笔记（Map-Reduce的工作、调度机制）