使用MapReduce实现一些经典的案例

　　在工作中，很多时候都是用hive或pig来自动化执行mr统计，但是我们不能忘记原始的mr。本文记录了一些通过mr来完成的经典的案例，有倒排索引、数据去重等，需要掌握。

一、使用mapreduce实现倒排索引
　 倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。

　 之所以称之为倒排索引，是因为文章内的单词反向检索获取文章标识，从而完成巨大文件的快速搜索。搜索引擎就是利用倒排索引来进行搜索的，此外，倒排索引也是Lucene的实现原理。

　 假设有两个文件，a.txt类容为“hello you hello”，b.txt内容为“hello hans”，则倒排索引后，期望返回如下内容：

p9      785
p3      365
p6      236

View Code