Hadoop2.7.3 mapreduce(一)原理及"hello world"实例
2017-07-16 15:33
549 查看
MapReduce编程模型
【1】先对输入的信息进行切片处理。
【2】每个map函数对所划分的数据并行处理,产生不同的中间结果输出。
【3】对map的中间结果数据进行收集整理(aggregate & shuffle)处理,交给reduce。
【4】reduce进行计算最终结果。
【5】汇总所有reduce的输出结果。
【名词解释】
ResourceManager:是YARN资源控制框架的中心模块,负责集群中所有的资源的统一管理和分配。它接收来自NM(NodeManager)的汇报,建立AM,并将资源派送给AM(ApplicationMaster)。
NodeManager:简称NM,NodeManager是ResourceManager在每台机器的上代理,负责容器的管理,并监控他们的资源使用情况(cpu,内存,磁盘及网络等),以及向 ResourceManager提供这些资源使用报告。
ApplicationMaster:以下简称AM。YARN中每个应用都会启动一个AM,负责向RM申请资源,请求NM启动container,并告诉container做什么事情。
Container:资源容器。YARN中所有的应用都是在container之上运行的。AM也是在container上运行的,不过AM的container是RM申请的。
【用Java来实现WordCount单词计数的功能】
【结果】
【1】先对输入的信息进行切片处理。
【2】每个map函数对所划分的数据并行处理,产生不同的中间结果输出。
【3】对map的中间结果数据进行收集整理(aggregate & shuffle)处理,交给reduce。
【4】reduce进行计算最终结果。
【5】汇总所有reduce的输出结果。
【名词解释】
ResourceManager:是YARN资源控制框架的中心模块,负责集群中所有的资源的统一管理和分配。它接收来自NM(NodeManager)的汇报,建立AM,并将资源派送给AM(ApplicationMaster)。
NodeManager:简称NM,NodeManager是ResourceManager在每台机器的上代理,负责容器的管理,并监控他们的资源使用情况(cpu,内存,磁盘及网络等),以及向 ResourceManager提供这些资源使用报告。
ApplicationMaster:以下简称AM。YARN中每个应用都会启动一个AM,负责向RM申请资源,请求NM启动container,并告诉container做什么事情。
Container:资源容器。YARN中所有的应用都是在container之上运行的。AM也是在container上运行的,不过AM的container是RM申请的。
【用Java来实现WordCount单词计数的功能】
package com.yc.hadoop42_003_mapreduce; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MyWordCount { //Mapper静态内部类 public static class MyWordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> { public static final IntWritable ONE = new IntWritable(1); @Override protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException { //按空格分割,map默认的value是每一行 String[] words = value.toString().split("\\s"); for (String word : words) { context.write(new Text(word), ONE); } } } //Reducer静态内部类 public static class MyWordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> { @Override protected void reduce(Text key, Iterable<IntWritable> value, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException { int count = 0; for (IntWritable v : value) { count += v.get(); // 统计单词个数 } context.write(new Text(key), new IntWritable(count)); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); // 配置文件对象 Job job = Job.getInstance(conf, "mywordCount"); // mapreduce作业对象 // 设置map操作 job.setMapperClass(MyWordCountMapper.class); //设置map处理类 job.setMapOutputKeyClass(Text.class); //设置拆分后,输出数据key的类型 job.setMapOutputValueClass(IntWritable.class); //设置拆分后,输入数据value的类型 // 设置reduce操作 job.setReducerClass(MyWordCountReducer.class); //设置reduce处理类 //这里reduce输入输出格式一致,不需要再次设置 // 设置输入输出 FileInputFormat.setInputPaths(job, new Path("hdfs://master:9000/in/data03.txt"));// 设置处理数据文件的位置 FileOutputFormat.setOutputPath(job, new Path("hdfs://master:9000/result"));// 设置处理后文件的存放位置 // 开始执行mapreduce作业 job.waitFo 9cff rCompletion(true); } }
【结果】
相关文章推荐
- python爬虫"Hello World"级入门实例(二),使用json从中国天气网抓取数据
- jsp自定义标签"helloworld"实例
- hadoop之"hello world"--wordCount
- Windows下qt的环境配置及运行一个c++"hello world"实例详细步骤
- hadoop mapreduce hello world(wordcount)
- Hadoop MapReduce原理及实例
- java io系列17之 System.out.println("hello world")原理
- Windows下qt的环境配置及运行一个c++"hello world"实例详细步骤
- Windows下qt的环境配置及运行一个c++"hello world"实例详细步骤
- Windows下qt的环境配置及运行一个c++"hello world"实例详细步骤
- cocos2d-x: 死磕"HelloWorld"(2)——应用实例的创建
- Hadoop MapReduce原理及实例
- Windows下qt的环境配置及运行一个c++"hello world"实例详细步骤
- Windows下qt的环境配置及运行一个c++"hello world"实例详细步骤
- Hadoop学习笔记 --- MapReduce实现WorldCount原理解析
- java io系列17之 System.out.println("hello world")原理
- Windows下qt的环境配置及运行一个c++"hello world"实例详细步骤
- Hadoop MapReduce原理及实例
- Windows下qt的环境配置及运行一个c++"hello world"实例详细步骤
- java io系列17之 System.out.println("hello world")原理