您的位置:首页 > 运维架构

hadoop中mapreducer的数据输入(InputFormat)原理详解

2014-10-30 23:42 453 查看
查看了hadoop 的源代码,终于搞明白MapReducer作业的数据输入原理,成果如下:
Hadoop中MapReducer的作业的输入通过InputFormat接口提供;

InputFormat提供的功能如下:将输入的文件,分成逻辑上的切片InputSplit,每一个InputSplit会分配给一个Mapper处理,RecordReader负责从InputSplit中读取键值对(一个键值对属于一条记录),然后交给InputSplit对应的Mapper处理,内部实现就是典型的生产者消费者模式了。因此InputSplit表示需要被一个Mapper处理的数据
RecordReader读取的Record是交给Mapper执行一次map方法来处理的数据

TextInputFormat实现细节
TextInputFormat继承了FileInputFormat
在getSplit方法中,会将输入的数据即文件切成片,片信息存储在FileSplite中,分片的规则按照HDFS文件系统对文件分片的规则,FileSplite中会维护该块所属文件的地址,起始字节数,长度,以及块在文件系统中存储的节点的主机名称。
使用createRecordReader(InputSplit split, TaskAttemptContext context)方法将每一个FileSplite封装到RecordReader中,RecorderReader成为为Mapper提供输入的工具,一个RecorderReader对应一个Mapper,一个FileSplite对应一个RecorderReader
对于每一个Split需要用RecordReader去读取,默认是LineRecordReader读取,即每次读取一行,即读取上一个"\n"下一个"\n"之间的数据
LineRecordReader中维护有SplitLineReader,FSDataInputStream对象,

在RecordReader中跨Split的行是这样处理的:如果不是第一个文件块,通常会丢掉该块的第一条记录,如果不是最后一个文件块,通常会从下一个文件块额外读取一条记录
这样处理,如果有一条记录是跨行记录,则作为前一个文件块的最后一行,如果没有跨行记录,则下一个文件块的第一条记录实际是由上一个文件块读取
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息