Hadoop基本概念
2013-06-23 16:16
99 查看
一、服务形式
Saas(Software as a Service)基础设施作为服务、Paas(Platform as a service)平台作为服务、Iaas(Infrastructure as a Service)软件作为服务。
二、云计算技术体系结构
物理资源层:计算机、存储器、网络设施、数据库、软件。
资源池层:计算资源池、存储资源池、网络资源池、数据资源池、软件资源池。
管理中间层:负责资源管理、任务管理、用户管理和安全管理等工作。
SOA构建层:服务接口、服务注册、服务查找、服务访问、服务工作流。
三、HDFS文件系统
HDFS:用于提供高吞吐量的分布式文件系统,用GFS实现开源。hadoop分布式软件架构的基础部件。默认每个数据块有两个备份,备份子不同的位置上。
NameNode:HDFS集群中只有一个NameNode。管理文件系统所有的元数据,包括名字空间、访问控制信息、文件到块的映射信息、文件块的位置信息等。
DataNode:部署在物理机器上,负责数据的存储和管理。名字节点用心跳和NameNode指示是否存活。
四、MapReduce实现机制
Map:数据的分片统计。
Shuffle:数据从Maptask到Reducetask传输过程,是mapreduce的核心。
Reduce:数据的聚合统计。
Saas(Software as a Service)基础设施作为服务、Paas(Platform as a service)平台作为服务、Iaas(Infrastructure as a Service)软件作为服务。
二、云计算技术体系结构
物理资源层:计算机、存储器、网络设施、数据库、软件。
资源池层:计算资源池、存储资源池、网络资源池、数据资源池、软件资源池。
管理中间层:负责资源管理、任务管理、用户管理和安全管理等工作。
SOA构建层:服务接口、服务注册、服务查找、服务访问、服务工作流。
三、HDFS文件系统
HDFS:用于提供高吞吐量的分布式文件系统,用GFS实现开源。hadoop分布式软件架构的基础部件。默认每个数据块有两个备份,备份子不同的位置上。
NameNode:HDFS集群中只有一个NameNode。管理文件系统所有的元数据,包括名字空间、访问控制信息、文件到块的映射信息、文件块的位置信息等。
DataNode:部署在物理机器上,负责数据的存储和管理。名字节点用心跳和NameNode指示是否存活。
四、MapReduce实现机制
Map:数据的分片统计。
Shuffle:数据从Maptask到Reducetask传输过程,是mapreduce的核心。
Reduce:数据的聚合统计。
相关文章推荐
- 用 Hadoop 进行分布式并行编程(一)基本概念与安装部署
- 大数据测试之Hadoop的基本概念
- Hadoop 基本概念
- Hadoop (海量数据存储及计算) 基本概念
- Hadoop学习笔记---基本概念
- Ambari (Apache Hadoop集群的供应、管理和监控的web工具) 基本概念
- hadoop学习第二天-了解HDFS的基本概念&&分布式集群的搭建&&HDFS基本命令的使用
- Hadoop学习笔记(1)-基本概念
- Hadoop基础入门学习笔记(基本概念)
- 大数据基本概念及Hadoop技术基础
- Hadoop — HDFS的概念、原理及基本操作
- Hadoop基本概念
- 深入学习Hadoop 1- HDFS的基本概念
- hadoop2基本概念
- [置顶] Hadoop基本概念指南
- hadoop系列教程第一讲:基本概念
- Hadoop的安装及一些基本概念解释
- Hadoop学习(1)-基本概念
- 大数据笔记04:大数据之Hadoop的HDFS(基本概念)
- Hadoop基础入门学习笔记(基本概念)