hadoop一些基本知识——Mapreduce 整个工作机制图
2015-07-07 15:25
483 查看
图中1：表示待处理数据，比如日志，比如单词计数
图中2：表示map阶段，对他们split，然后送到不同分区
图中3：表示reduce阶段，对这些数据整合处理。
图中4：表示二次mapreduce,这个是mapreduce的链式。
这里有个问题：输出的mapreduce结果，需要进入下一个mapreduce，该怎么解决？请看
“让你真正明白什么是MapReduce组合式，迭代式，链式-大数据（hadoop系列）学习-about云开发”
http://www.aboutyun.com/thread-7435-1-1.html
暂时在这里mark一下以后学完再总结
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 搭建 CentOS 6 服务器(12) - Samba
- 利用ShellExecuteEx手动提升用户特权，以管理员权限来运行程序。win7会有UAC弹窗
- Linux运维基础采集项
- tomcat 与 WebLogic 的区别
- linux系统中ffmpeg安装配置步骤
- CentOS6.5安装VMwareTools
- Nginx 编译，添加未编译安装模块ngx_cache_purge
- 软件架构的数据流总结（一）
- linux如何关闭防火墙
- nginx 1.6.2源码分析1 499问题
- sedna在windows和Linux下的xquery区别
- Linux内存管理之mmap详解
- hadoop一些基本知识——Hadoop简介(1):什么是Map/Reduce
- java.lang.NoClassDefFoundError: org/apache/log4j/Level
- shell同步目录
- Cordova 4 架构学习 定义启动界面Splash和图标
- WeX5进行微信运行时出现tomcat端口占用
- 基于集群的Hadoop HBase安装与配置
- linux下cpu物理个数、多核、超线程判断解析
- CentOS 6.2 上编译安装 Nginx 1.0.15 + PHP 5.3.16 + MySQL 5.1.62