笔记:深入解析MapReduce架构设计与实现原理 第3章 MapReduce编程模型
2015-01-20 22:04
1091 查看
一、文件切分块大小
splitSize = max (minSize, min(maxSize,blockSize))
其中:
minSize 参数mapred.min.split.size指定
maxSize 参数mapred.max.split.size指定
blockSize 块大小,默认64M
即不再考虑用户设定的Map Task个数
二、Mapper、Reducer 解析
特殊的Mapper/Reducer:
ChainMapper / ChainReducer:链
IdentityMapper / IdentityReducer:不处理直接输入
InvertMapper:交互key、value
RegexMapper:正则表达式
TokenMapper:拆分字符串
LongSumRducer:累加
三、Hadoop工作流
1、JobControl
2、ChainMapper / ChainReducer
3、Pig、Hive、Oozie、Azkakan
splitSize = max (minSize, min(maxSize,blockSize))
其中:
minSize 参数mapred.min.split.size指定
maxSize 参数mapred.max.split.size指定
blockSize 块大小,默认64M
即不再考虑用户设定的Map Task个数
二、Mapper、Reducer 解析
特殊的Mapper/Reducer:
ChainMapper / ChainReducer:链
IdentityMapper / IdentityReducer:不处理直接输入
InvertMapper:交互key、value
RegexMapper:正则表达式
TokenMapper:拆分字符串
LongSumRducer:累加
三、Hadoop工作流
1、JobControl
2、ChainMapper / ChainReducer
3、Pig、Hive、Oozie、Azkakan
相关文章推荐
- 笔记:深入解析MapReduce架构设计与实现原理 第5章 Job提交与初始化
- 笔记:深入解析MapReduce架构设计与实现原理 第4章 RPC框架解析
- 笔记:深入解析MapReduce架构设计与实现原理 第2章 MapReduce设计理念和基本架构
- 笔记:深入解析MapReduce架构设计与实现原理 第6章 JobTracker 内部实现
- Hadoop技术内幕:深入解析MapReduce架构设计与实现原理
- [读书笔记]深入解析MapReduce架构设计与实现原理——CH4 Hadoop RPC基本框架
- Hadoop技术内幕:深入解析MapReduce架构设计与实现原理
- [读书笔记]深入解析MapReduce架构设计与实现原理——CH4 Java反射机制与动态代理
- Hadoop技术内幕:深入解析MapReduce架构设计与实现原理
- 2本Hadoop技术内幕电子书百度网盘下载:深入理解MapReduce架构设计与实现原理、深入解析Hadoop Common和HDFS架构设计与实现原理
- Spring技术内幕——深入解析Spring架构与设计原理(一)IOC实现原理
- 转:Spring技术内幕——深入解析Spring架构与设计原理(三)IOC实现原理
- Spring技术内幕——深入解析Spring架构与设计原理(一)IOC实现原理
- Spring技术内幕——深入解析Spring架构与设计原理(一)IOC实现原理
- Spring技术内幕——深入解析Spring架构与设计原理(一)IOC实现原理
- Spring技术内幕——深入解析Spring架构与设计原理(一)IOC实现原理
- Spring技术内幕——深入解析Spring架构与设计原理(一)IOC实现原
- Spring技术内幕——深入解析Spring架构与设计原理(一)IOC实现原理
- 读书笔记(七)--Struts技术内幕-深入解析Struts架构设计与实现原理
- Spring技术内幕——深入解析Spring架构与设计原理(一)IOC实现原理