Hadoop平台倒排索引应用举例

一、Hadoop介绍

一种分布式系统架构，可以使用户在不了解分布式系统底层的细节的情况下开发分布式程序，框架最核心组件包括HDFS和MapReduce

1、HDFS：分布式文件系统，为海量数据提供存储

2、MapReduce：一种编程模型、离线计算框架，我们只需要将处理过程抽象成为Map过程和Reduce过程（Map将用户输入的数据解析成<key1,value1>对形式作为中间结果，Reduce根据自定义的逻辑将Map输出的中间结果处理成新的<key2,value2>形式作为最终结果输出）

该介绍运用的基于Hadoop的源程序在GitHub点击打开链接

二、建立倒排索引

1、初始有3份文档

1.txt：MapReduce is simple
2.txt：MapReduce is powerful simple
3.txt：Hello MapReduce bye MapReduce

2、最终目的是：得到每个单词在哪个文档中出现过及出现的次数(eg：单词“MapRduce”在1.txt中出现1次，在2.txt中出现1次，在3.txt中出现2次)

三、倒排索引过程

1、Map过程：输入为三个文件存放的路径，输出为<<word:filename>,1>

2、Combine过程：对同一个Map的结果先进行合并，以减小分布式数据的传输数量

3、Reducer过程：对上面所有Map的结果进行合并、排序等用户定义的操作输出最后结果

四、程序运行结果

以上为倒排索引的过程描述，通过一个实例才能更好的理解Hadoop平台