Hadoop MapReduce应用案例——数据去重
2014-10-28 22:59
459 查看
1.实例描述
对数据文件中的数据进行去重。数据文件中的每行都死一个数据。样例输入:
file1.txt:
2012-3-1 a
2012-3-2 b
2012-3-3 c
2012-3-4 d
2012-3-5 a
2012-3-6 b
2012-3-7 c
2012-3-3 c
file2.txt:
2012-3-1 b
2012-3-2 a
2012-3-3 b
2012-3-4 d
2012-3-5 a
2012-3-6 c
2012-3-7 d
2012-3-3 c
样例输出:
2012-3-1 a
2012-3-1 b
2012-3-2 a
2012-3-2 b
2012-3-3 b
2012-3-3 c
2012-3-4 d
2012-3-5 a
2012-3-6 b
2012-3-6 c
2012-3-7 c
2012-3-7 d
2.设计思路
数据去重实例的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。自然而然会想到将同一个数据的所有记录都交给一台Reduce机器,无论这个数据出现多少次,只要在最终结果中输出一次就可以了。具体就是Reduce的输入应该以数据作为key,而对value_list则没有要求。当Reduce接收到一个<key,value_list>时就直接将key复制到输出的key中,并将value设置成空。3.程序代码
程序代码如下:package org.apache.hadoop.examples; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class Dedup { //map将输入中的value复制到输出数据的key上,并直接输出 public static class Map extends Mapper<Object, Text, Text, Text> { private static Text line = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { line = value; context.write(line, new Text("")); } } //reduce将输入中的key复制到输出数据的key上,并直接输出 public static class Reduce extends Reducer<Text, Text, Text, Text> { public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { context.write(key, new Text("")); } } @SuppressWarnings("deprecation") public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage WordCount <int> <out>"); System.exit(2); } Job job = new Job(conf, "Dedup"); job.setJarByClass(Dedup.class); job.setMapperClass(Map.class); job.setCombinerClass(Reduce.class); job.setReducerClass(Reduce.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
参考:
1.Hadoop实战第2版 陆嘉恒 著
相关文章推荐
- 007_hadoop中MapReduce应用案例_1_数据去重
- 一文读懂大数据:Hadoop,大数据技术、案例及相关应用
- Hadoop入门进阶课程6--MapReduce应用案例
- Hadoop MapReduce应用案例——排序
- hadoop2.5.2学习07--MapReduce应用案例2
- (2) hadoop 配置部署启动HDFS及本地模式运行MapReduce案例(使用HDFS上数据)
- HBase建表高级属性,hbase应用案例看行键设计,HBase和mapreduce结合,从Hbase中读取数据、分析,写入hdfs,从hdfs中读取数据写入Hbase,协处理器和二级索引
- Hadoop入门进阶课程6--MapReduce应用案例
- Hadoop-MapReduce应用案例
- MapReduce应用案例--简单的数据去重
- 基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析视频教程
- Hadoop入门进阶课程6--MapReduce应用案例
- 基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
- 一文读懂大数据:Hadoop,大数据技术、案例及相关应用
- Hadoop环境搭建之二配置启动HDFS及本地模式运行MapReduce案例(使用HDFS上数据)
- 什么是HADOOP、产生背景、在大数据、云计算中的位置和关系、国内外HADOOP应用案例介绍、就业方向、生态圈以及各组成部分的简介(学习资料中的文档材料)
- hadoop编程(6)-MapReduce案例:Partitioner应用实例——全局排序
- 基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
- [COPY]大数据 hadoop 应用案例 大众点评
- 从Hadoop 说起 六个真实的大数据应用案例