Hadoop:MapReduce回调机制
2016-07-21 09:19
218 查看
Hadoop高级教程:MapReduce回调机制,回调机制是一种常见的设计模式。它将工作流内的某个功能按照约定的接口暴露给外部使用者,为外部使用者提供数据,或要求外部使用者提供数据。
Hadoop MapReduce对外提供的5个组件(InputFormat、Mapper、Partitioner、Reducer和OutputFormat)实际上全部属于回调接口。当用户按照约定实现这几个接口后,MapReduce运行时环境会自动调用它们。
如图所示,MapReduce给用户暴露了接口Mapper,当用户按照自己的应用程序逻辑实现自己的MyMapper后,Hadoop MapReduce运行时环境会将输入数据解析成key/value对,并调用map()函数迭代处理。来源:CUUG官网
Hadoop MapReduce对外提供的5个组件(InputFormat、Mapper、Partitioner、Reducer和OutputFormat)实际上全部属于回调接口。当用户按照约定实现这几个接口后,MapReduce运行时环境会自动调用它们。
如图所示,MapReduce给用户暴露了接口Mapper,当用户按照自己的应用程序逻辑实现自己的MyMapper后,Hadoop MapReduce运行时环境会将输入数据解析成key/value对,并调用map()函数迭代处理。来源:CUUG官网
相关文章推荐
- linux的mysql的
- linux中任务的调度
- Opencv中在图片上显示文本
- 访问网站不存在的页面的时候跳转到指定页面,不需要报文件不存在
- Linux学习笔记--Linux目录结构
- linux 中getopt和getopt_long 用法解析
- 【linux c】指针与数组的区别_学习笔记_012
- OpenGL ES像素着色器
- 2_1OpenGL北斗星群
- Linux中fork()函数详解
- opencv 基于KNN的手写数字字符识别
- 虚拟化 - 每天5分钟玩转 OpenStack(2)
- 先安装windows7_64bit,再安装Centos7,windows7的启动项不出现
- OPenGL ES Shader
- u-boot与linux内核间的参数传递过程分析
- linux--文件编程(4)
- Linux内核驱动之主次编号
- linux内核中等待队列(wait_event,wake_up...)
- 制作Windows、Linux启动U盘
- zabbix3.0.3-源码安装