Hadoop 案例4----平均成绩
2015-09-05 13:55
447 查看
1、需求分析
对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩,如果有多门学科,则每门学科为一个文件。
要求在输出中每行有两个间隔的数据,其中,第一个代表学生的姓名,第二个代表其平均成绩。
2、原始数据
1)math:
2)china:
3)english:
3、设计思考
Map处理的 是一个纯文本文件, 文件中存放的数据时每一行表示一个学生的姓名和他相应一科成绩。Mapper处理的数据是由InputFormat分解过的数据集,其中 InputFormat的作用是将数据集切割成小数据集InputSplit,每一个InputSplit将由一个Mapper负责处理。此 外,InputFormat中还提供了一个RecordReader的实现,并将一个InputSplit解析成
Map的结果会通过partion分发到Reducer,Reducer做完Reduce操作后,将通过以格式OutputFormat输出。
Mapper最终处理的结果对
Reducer是所有用户定制Reducer类地基础,它的输入是key和这个key对应的所有value的一个迭代器,同时还有 Reducer的上下文。
Reduce的结果由Reducer.Context的write方法输出到文件中。
4.Mapper程序:
5.Reducer程序:
6.主程序:
对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩,如果有多门学科,则每门学科为一个文件。
要求在输出中每行有两个间隔的数据,其中,第一个代表学生的姓名,第二个代表其平均成绩。
2、原始数据
1)math:
张三 88 李四 99 王五 66 赵六 77
2)china:
张三 78 李四 89 王五 96 赵六 67
3)english:
张三 80 李四 82 王五 84 赵六 86
3、设计思考
Map处理的 是一个纯文本文件, 文件中存放的数据时每一行表示一个学生的姓名和他相应一科成绩。Mapper处理的数据是由InputFormat分解过的数据集,其中 InputFormat的作用是将数据集切割成小数据集InputSplit,每一个InputSplit将由一个Mapper负责处理。此 外,InputFormat中还提供了一个RecordReader的实现,并将一个InputSplit解析成
<key,value>对提 供给了map函数。InputFormat的默认值是TextInputFormat,它针对文本文件,按行将文本切割成InputSlit,并用 LineRecordReader将InputSplit解析成
<key,value>对,key是行在文本中的位置,value是文件中的 一行。
Map的结果会通过partion分发到Reducer,Reducer做完Reduce操作后,将通过以格式OutputFormat输出。
Mapper最终处理的结果对
<key,value>,会送到Reducer中进行合并,合并的时候,有相同key的键/值对则送到同一个 Reducer上。
Reducer是所有用户定制Reducer类地基础,它的输入是key和这个key对应的所有value的一个迭代器,同时还有 Reducer的上下文。
Reduce的结果由Reducer.Context的write方法输出到文件中。
4.Mapper程序:
package cn.edu.bjut.average; import java.io.IOException; import org.apache.hadoop.io.DoubleWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class AverageMapper extends Mapper<LongWritable, Text, Text, DoubleWritable>{ @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString().trim(); String[] vals = line.split("\t"); if(2 == vals.length) { String name = vals[0]; double score = Double.parseDouble(vals[1]); context.write(new Text(name), new DoubleWritable(score)); } } }
5.Reducer程序:
package cn.edu.bjut.average; import java.io.IOException; import org.apache.hadoop.io.DoubleWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class AverageReducer extends Reducer<Text, DoubleWritable, Text, DoubleWritable>{ @Override protected void reduce(Text key, Iterable<DoubleWritable> values, Context context) throws IOException, InterruptedException { double allScore = 0, averageScore = 0, sum = 0; for(DoubleWritable score : values) { allScore += score.get(); sum += 1; } if(sum != 0) { averageScore = allScore/sum; } context.write(key, new DoubleWritable(averageScore)); } }
6.主程序:
package cn.edu.bjut.average; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.DoubleWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MainJob { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = new Job(conf, "average"); job.setJarByClass(MainJob.class); job.setMapperClass(AverageMapper.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(DoubleWritable.class); job.setReducerClass(AverageReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(DoubleWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); Path path = new Path(args[1]); FileSystem fs = FileSystem.get(conf); if(fs.exists(path)) { fs.delete(path, true); } FileOutputFormat.setOutputPath(job, path); job.waitForCompletion(true); } }
相关文章推荐
- centos安装jdk环境yum
- shell中的特殊符号总结
- linux配置java环境变量(详细)
- Linux下JDK环境变量配置
- OpenGL 创建反射
- btrfs文件系统管理(centos7)
- Linux下编译和部署JavaWeb程序脚本
- 64位CentOS7中静态IP,DNS的配置
- bash基础和环境变量相关配置
- Linux学习笔记2_mysql安装
- linux磁盘管理及文件系统
- CentOS程序包管理
- 一步一步做一个linux文件传输软件(一)
- centos安装mysql
- 聊聊实际开发中经常遇到的DOM中Property和Attribute问题
- NSRunLoop
- OpenGL 天空盒
- linux命令之grep
- OpenCASCADE Interpolation - Lagrange
- win8.1下IIS网站打不开的问题