Hadoop学习第七次:MapReduce简介
2014-12-12 21:20
239 查看
MapReduce是一种分布式计算模型。由Map和reduce两个阶段组成,用户只需要实现Map()和Reduce()两个函数即可实现分布式计算。这两个函数的形参是key,value对,表示函数的输入信息。
执行步骤:
1. map任务处理
1.1 读取输入文件内容,解析成key、value对。对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数。
1.2 写自己的逻辑,对输入的key、value处理,转换成新的key、value输出。
1.3 对输出的key、value进行分区。
1.4 对不同分区的数据,按照key进行排序、分组。相同key的value放到一个集合中。
1.5 (可选)分组后的数据进行归约。
2.reduce任务处理
2.1 对多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点。
2.2 对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑,对输入的key、value处理,转换成新的key、value输出。
2.3 把reduce的输出保存到文件中。
例子:实现WordCountApp
执行步骤:
1. map任务处理
1.1 读取输入文件内容,解析成key、value对。对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数。
1.2 写自己的逻辑,对输入的key、value处理,转换成新的key、value输出。
1.3 对输出的key、value进行分区。
1.4 对不同分区的数据,按照key进行排序、分组。相同key的value放到一个集合中。
1.5 (可选)分组后的数据进行归约。
2.reduce任务处理
2.1 对多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点。
2.2 对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑,对输入的key、value处理,转换成新的key、value输出。
2.3 把reduce的输出保存到文件中。
例子:实现WordCountApp
相关文章推荐
- Hadoop学习笔记: MapReduce Java编程简介
- 大数据学习笔记——hadoop1.2.1 MapReduce简介
- Hadoop 学习总结之一:HDFS简介(转载)
- Hadoop学习笔记2--第一个Mapreduce程序
- hadoop学习笔记-4-eclipse运行MapReduce
- Hadoop mapreduce原理学习
- Hadoop学习:(二)hadoop的简介
- Hadoop 学习总结之一:HDFS简介
- hadoop学习笔记<一>----hadoop简介
- hadoop-mapReduce工作流程和组件简介
- Hadoop 学习总结之一:HDFS简介
- 【hadoop学习笔记】How MapReduce Works
- Hadoop - Map/Reduce 通过理解org.apache.hadoop.mapreduce.Job类来学习hadoop的执行逻辑
- Hadoop 学习总结之一:HDFS简介
- Hadoop 学习总结之一:HDFS简介
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
- Hadoop 学习总结之一:HDFS简介(zz写的很不错)
- Hadoop 学习总结之一:HDFS简介
- Hadoop学习笔记一:MapReduce的工作机制
- Hadoop 学习总结之一:HDFS简介