hadoop入门教程-核心组件MR
2016-03-31 22:02
267 查看
hadoop分布式计算框架--mapReduce,简称MR(离线计算),设计理念为:
----何为分布式计算;
----移动计算,而不是移动数据;
提到mapReduce,我们先来了解它的架构:
* 首先是一个一主多从架构;
* 其次,主要有主 jobTracker和从TaskTracker两部分;其中jobTracker负责调度分配每一个子任务task运行于taskTracker上,如果发现有失败的task就重新分配其任务到其他节点,每一个hadoop集群中只有一个jobTracker,一般它运行在master节点上。
taskTracker主动与jobTracker通信,接收作业,并负责直接执行每一个任务,为了减少网络带宽TaskTracker最好运行在hdfs的datanode上;
具体处理流程和框架如下:
----何为分布式计算;
----移动计算,而不是移动数据;
提到mapReduce,我们先来了解它的架构:
* 首先是一个一主多从架构;
* 其次,主要有主 jobTracker和从TaskTracker两部分;其中jobTracker负责调度分配每一个子任务task运行于taskTracker上,如果发现有失败的task就重新分配其任务到其他节点,每一个hadoop集群中只有一个jobTracker,一般它运行在master节点上。
taskTracker主动与jobTracker通信,接收作业,并负责直接执行每一个任务,为了减少网络带宽TaskTracker最好运行在hdfs的datanode上;
具体处理流程和框架如下:
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- 康诺云推出三款智能硬件产品,为健康管理业务搭建数据池
- MySQL中使用innobackupex、xtrabackup进行大数据的备份和还原教程
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- php+ajax导入大数据时产生的问题处理
- C# 大数据导出word的假死报错的处理方法
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作
- Hadoop1.2中配置伪分布式的实例