(0) 什么是Apache Hadoop
2015-08-18 13:49
513 查看
Apache™Hadoop®项目开发用于可靠,可扩展,分布式计算的开源软件。Apache Hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它的设计是从单个服务器扩展到数千个机器,每个都提供本地计算和存储。库本身不是依靠硬件来提供高可用性,而是设计用于检测和处理应用层的故障,因此在一组计算机之上提供高可用性服务,每个计算机都易于出现故障。
该项目包括以下模块:
Hadoop Common:支持其他Hadoop模块的常用实用程序。
Hadoop分布式文件系统(HDFS™):一种提供对应用程序数据的高吞吐量访问的分布式文件系统。
Hadoop YARN:作业调度和集群资源管理的框架。
Hadoop MapReduce:一种基于YARN的大数据集并行处理系统。
Apache的其他Hadoop相关项目包括:
Ambari™:用于配置,管理和监控Apache Hadoop集群的基于Web的工具,包括对Hadoop HDFS,Hadoop MapReduce,Hive,HCatalog,HBase,ZooKeeper,Oozie,Pig和Sqoop的支持。 Ambari还提供了一个用于查看群集健康的仪表板,如热图,以及以视觉方式查看MapReduce,Pig和Hive应用程序的功能,以便以用户友好的方式诊断其性能特征。
Avro™:数据序列化系统。
Cassandra™:一个可扩展的多主数据库,没有单点故障。
Chukwa™:用于管理大型分布式系统的数据收集系统。
HBase™:一个可扩展的分布式数据库,支持大型表的结构化数据存储。
Hive™:提供数据汇总和即席查询的数据仓库基础架构。
Mahout™:可扩展的机器学习和数据挖掘库。
Pig™:用于并行计算的高级数据流语言和执行框架。
Spark™:用于Hadoop数据的快速和通用的计算引擎。 Spark提供了一个简单和表达性的编程模型,支持各种应用程序,包括ETL,机器学习,流处理和图形计算。
Tez™:一个基于Hadoop YARN的通用数据流编程框架,它提供了一个强大而灵活的引擎来执行任务的任意DAG,以便为批处理和交互式用例处理数据。 Tez被Hive™,Pig™和Hadoop生态系统中的其他框架以及其他商业软件(如ETL工具)采用,以取代Hadoop™MapReduce作为底层执行引擎。
ZooKeeper™:用于分布式应用程序的高性能协调服务。
该项目包括以下模块:
Hadoop Common:支持其他Hadoop模块的常用实用程序。
Hadoop分布式文件系统(HDFS™):一种提供对应用程序数据的高吞吐量访问的分布式文件系统。
Hadoop YARN:作业调度和集群资源管理的框架。
Hadoop MapReduce:一种基于YARN的大数据集并行处理系统。
Apache的其他Hadoop相关项目包括:
Ambari™:用于配置,管理和监控Apache Hadoop集群的基于Web的工具,包括对Hadoop HDFS,Hadoop MapReduce,Hive,HCatalog,HBase,ZooKeeper,Oozie,Pig和Sqoop的支持。 Ambari还提供了一个用于查看群集健康的仪表板,如热图,以及以视觉方式查看MapReduce,Pig和Hive应用程序的功能,以便以用户友好的方式诊断其性能特征。
Avro™:数据序列化系统。
Cassandra™:一个可扩展的多主数据库,没有单点故障。
Chukwa™:用于管理大型分布式系统的数据收集系统。
HBase™:一个可扩展的分布式数据库,支持大型表的结构化数据存储。
Hive™:提供数据汇总和即席查询的数据仓库基础架构。
Mahout™:可扩展的机器学习和数据挖掘库。
Pig™:用于并行计算的高级数据流语言和执行框架。
Spark™:用于Hadoop数据的快速和通用的计算引擎。 Spark提供了一个简单和表达性的编程模型,支持各种应用程序,包括ETL,机器学习,流处理和图形计算。
Tez™:一个基于Hadoop YARN的通用数据流编程框架,它提供了一个强大而灵活的引擎来执行任务的任意DAG,以便为批处理和交互式用例处理数据。 Tez被Hive™,Pig™和Hadoop生态系统中的其他框架以及其他商业软件(如ETL工具)采用,以取代Hadoop™MapReduce作为底层执行引擎。
ZooKeeper™:用于分布式应用程序的高性能协调服务。
相关文章推荐
- 2.4.16版本Apache配置虚拟目录(1)
- linux 下 apache启动、停止、重启命令
- 禁止apache显示目录索引的常见方法
- Apache Maven 入门篇(下)
- Apache Maven 入门篇 ( 上 )自己已亲测!!
- Apache性能监控
- Apache Maven 入门篇 ( 上 )
- apache和IIS同时存在,apache建立多个网站
- install Apache Hadoop 2.6.0 in Ubuntu
- Apache 启动失败 VisualSvn 端口占用问题
- [翻译]Apache Spark入门简介
- object hbase is not a member of package org.apache.hadoop
- redhat下svn+apache搭建
- ubuntu 12.04下搭建web服务器(MySQL+PHP+Apache) 教程
- Importing Apache mod_rewrite Rules
- 在Ubuntu下使用Apache2建立虚拟主机
- 借助Apache Cordova构建混合移动应用程序
- Apache 的BeanUtils 拷贝日期对象转换问题
- Apache通用日志工具commons-logging和Log4j使用总结
- hadoop MR 任务 报错 "Error: java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io"