Hadoop MapReduce心得之初识

## MapReduce是什么 ##

MapReduce

是一种分布式编程模型，用来解决海量数据计算的问题。程序员使用它可以更关注业务逻辑的实现，而不需要花费大量精力在因分布式上运行而带来的问题。

MapReduce 采用分治法的思想，把一个大的任务切分为很多小的任同时执行（Map 阶段），汇总所有的执行结果（Reduce 阶段）。

用户以 kv 对的形式把数据提交给 map，map 处理完后以 kv 对的形式提交给 reduce，reduce 处理以后以 kv
对的形式输出给用户。

其实,我们通过形象的记忆能更容易明白编程模型的思想这是我在网上看到一个小例子

一个比较形象的语言解释MapReduce：　　

We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That’s map. The more people we get, the faster it goes.

我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。

Now we get together and add our individual counts. That’s reduce.

现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”。

（1）Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”来处理。“简单的任务”包含三层含义：一是数据或计算的规模相对原任务要大大缩小；二是就近计算原则，即任务会分配到存放着所需数据的节点上进行计算；三是这些小任务可以并行计算，彼此间几乎没有依赖关系。

（2）Reducer负责对map阶段的结果进行汇总。至于需要多少个Reducer，用户可以根据具体问题，通过在mapred-site.xml配置文件里设置参数mapred.reduce.tasks的值，缺省值为1。