hadoop概述
2015-12-01 18:01
357 查看
MapReduce和HDFS是Hadoop的两大核心,整个Hadoop体系结构主要通过HDFS来实现对分布式存储的底层支持的,并且通过MapReduce来实现对分布式并行任务处理的程序的支持。
namenode
1.hdfs守护进程;
2.记录文件是如何分割成数据块的,以及这些数据块被存储到那些节点上;
3.对内存和I/O进行集中管理;
4.是单点,发生故障将使集群崩溃.
secondary namenode
1.监控hdfs状态的后台辅助进程;
2.每个集群都有一个;
3.与namenode进行通讯,定期保存hdfs元数据快照;
4.当namenode故障可以作为备用的namenode使用.
datanode
1.每台从服务器都运行一个;
2.负责把hdfs数据块读写到本地文件系统.
jobtracker
1.用于处理作业(用户提交代码)的后台程序;
2.决定有哪些文件参与处理,然后切割task并分配节点;
3.监控task,重启失败的task(于不同的节点);
4.每个集群只有唯一一个jobtracker,位于Master节点.
tasktracker
1.位于slave节点上,与datanode结合(代码与数据一起的原则);
2.管理各自节点上的task(有jobtracker分配);
3.每个节点只有一个tasktracker,但一个tasktracker可以启动多个JVM,用于并行执行map或reduce任务;
4.与jobtracker交互.
master与slave
master:namenode,secondary namenode,jobtracker,浏览器由于观看和管理界面,其他的hadoop工具
slave :tasktracker,datanode
master不是唯一的
三种运行模式:单机模式,伪分布模式,完全分布式模式
Hadoop特点:
扩容能力;成本低;高效率;可靠性
MapReduce和HDFS是Hadoop的两大核心,整个Hadoop体系结构主要通过HDFS来实现对分布式存储的底层支持的,并且通过MapReduce来实现对分布式并行任务处理的程序的支持。
namenode
1.hdfs守护进程;
2.记录文件是如何分割成数据块的,以及这些数据块被存储到那些节点上;
3.对内存和I/O进行集中管理;
4.是单点,发生故障将使集群崩溃.
secondary namenode
1.监控hdfs状态的后台辅助进程;
2.每个集群都有一个;
3.与namenode进行通讯,定期保存hdfs元数据快照;
4.当namenode故障可以作为备用的namenode使用.
datanode
1.每台从服务器都运行一个;
2.负责把hdfs数据块读写到本地文件系统.
jobtracker
1.用于处理作业(用户提交代码)的后台程序;
2.决定有哪些文件参与处理,然后切割task并分配节点;
3.监控task,重启失败的task(于不同的节点);
4.每个集群只有唯一一个jobtracker,位于Master节点.
tasktracker
1.位于slave节点上,与datanode结合(代码与数据一起的原则);
2.管理各自节点上的task(有jobtracker分配);
3.每个节点只有一个tasktracker,但一个tasktracker可以启动多个JVM,用于并行执行map或reduce任务;
4.与jobtracker交互.
master与slave
master:namenode,secondary namenode,jobtracker,浏览器由于观看和管理界面,其他的hadoop工具
slave :tasktracker,datanode
master不是唯一的
三种运行模式:单机模式,伪分布模式,完全分布式模式
Hadoop特点:
扩容能力;成本低;高效率;可靠性
namenode
1.hdfs守护进程;
2.记录文件是如何分割成数据块的,以及这些数据块被存储到那些节点上;
3.对内存和I/O进行集中管理;
4.是单点,发生故障将使集群崩溃.
secondary namenode
1.监控hdfs状态的后台辅助进程;
2.每个集群都有一个;
3.与namenode进行通讯,定期保存hdfs元数据快照;
4.当namenode故障可以作为备用的namenode使用.
datanode
1.每台从服务器都运行一个;
2.负责把hdfs数据块读写到本地文件系统.
jobtracker
1.用于处理作业(用户提交代码)的后台程序;
2.决定有哪些文件参与处理,然后切割task并分配节点;
3.监控task,重启失败的task(于不同的节点);
4.每个集群只有唯一一个jobtracker,位于Master节点.
tasktracker
1.位于slave节点上,与datanode结合(代码与数据一起的原则);
2.管理各自节点上的task(有jobtracker分配);
3.每个节点只有一个tasktracker,但一个tasktracker可以启动多个JVM,用于并行执行map或reduce任务;
4.与jobtracker交互.
master与slave
master:namenode,secondary namenode,jobtracker,浏览器由于观看和管理界面,其他的hadoop工具
slave :tasktracker,datanode
master不是唯一的
三种运行模式:单机模式,伪分布模式,完全分布式模式
Hadoop特点:
扩容能力;成本低;高效率;可靠性
MapReduce和HDFS是Hadoop的两大核心,整个Hadoop体系结构主要通过HDFS来实现对分布式存储的底层支持的,并且通过MapReduce来实现对分布式并行任务处理的程序的支持。
namenode
1.hdfs守护进程;
2.记录文件是如何分割成数据块的,以及这些数据块被存储到那些节点上;
3.对内存和I/O进行集中管理;
4.是单点,发生故障将使集群崩溃.
secondary namenode
1.监控hdfs状态的后台辅助进程;
2.每个集群都有一个;
3.与namenode进行通讯,定期保存hdfs元数据快照;
4.当namenode故障可以作为备用的namenode使用.
datanode
1.每台从服务器都运行一个;
2.负责把hdfs数据块读写到本地文件系统.
jobtracker
1.用于处理作业(用户提交代码)的后台程序;
2.决定有哪些文件参与处理,然后切割task并分配节点;
3.监控task,重启失败的task(于不同的节点);
4.每个集群只有唯一一个jobtracker,位于Master节点.
tasktracker
1.位于slave节点上,与datanode结合(代码与数据一起的原则);
2.管理各自节点上的task(有jobtracker分配);
3.每个节点只有一个tasktracker,但一个tasktracker可以启动多个JVM,用于并行执行map或reduce任务;
4.与jobtracker交互.
master与slave
master:namenode,secondary namenode,jobtracker,浏览器由于观看和管理界面,其他的hadoop工具
slave :tasktracker,datanode
master不是唯一的
三种运行模式:单机模式,伪分布模式,完全分布式模式
Hadoop特点:
扩容能力;成本低;高效率;可靠性
相关文章推荐
- centos7.x设置开机自启动
- nginx反向代理配置及优化
- top查看进程的线程
- CentOS 6.4 安装配置ftp
- Centos 7安装Nginx 1.12.2
- 用户登陆的业务流程架构设计
- 网站制作教程-如何才能做好一个网站?
- Tomcat中JVM内存溢出及合理配置
- 走进Linux之systemd启动过程
- Nginx的web功能安装
- Linux文件权限详解
- 在windows下的安装Docker的教程
- openstack 集成显卡 对windroye 支持
- linux下动态域名解析
- ganalia+php+nginx+rrd 监控hadoop
- linux命令-ssh自动登陆
- Linux下MySQL快速入门
- 架构设计:系统间通信(15)——服务治理与Dubbo 上篇
- linux运行级别0-6的各自含义 【转】
- 不通过main函数获取命令行参数(Win/Linux/Qt)