hadoop包含哪些技术?
2013-06-21 11:12
218 查看
1、Hadoop包含哪些技术?
Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie。
2、简介
Common:在0.20及以前的版本中,包含HDFS、MapReduce和其他项目公共内容,从0.21开始HDFS和MapReduce被分离为独立的子项目,其余内容为Hadoop Common。
Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。
MapReduce:并行计算框架,0.20前使用org.apache.hadoop.mapred旧接口,0.20版本开始引入org.apache.hadoop.mapreduce的新API。
HDFS:Hadoop分布式文件系统(Hadoop Distributed File System)。
Pig:大数据分析平台,为用户提供多种接口。
Hive:数据仓库工具,由Facebook贡献。
Hbase:类似Google BigTable的分布式NoSQL列数据库。(HBase和Avro已经于2010年5月成为顶级Apache项目)。
ZooKeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。
Sqoop:Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 :MySQL, Oracle, Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。
Oozie:负责MapReduce作业调度。
http://www.baidu.com/s?ie=utf-8&bs=%E8%BE%BE%E6%AD%A5%E6%BA%9C&f=8&rsv_bp=1&wd=%E8%BE%BE%E6%AD%A5%E6%BA%9C+%E6%8B%9B%E8%81%98&rsv_sug3=6&rsv_sug1=5&rsv_sug4=342&inputT=2548
Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie。
2、简介
Common:在0.20及以前的版本中,包含HDFS、MapReduce和其他项目公共内容,从0.21开始HDFS和MapReduce被分离为独立的子项目,其余内容为Hadoop Common。
Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。
MapReduce:并行计算框架,0.20前使用org.apache.hadoop.mapred旧接口,0.20版本开始引入org.apache.hadoop.mapreduce的新API。
HDFS:Hadoop分布式文件系统(Hadoop Distributed File System)。
Pig:大数据分析平台,为用户提供多种接口。
Hive:数据仓库工具,由Facebook贡献。
Hbase:类似Google BigTable的分布式NoSQL列数据库。(HBase和Avro已经于2010年5月成为顶级Apache项目)。
ZooKeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。
Sqoop:Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 :MySQL, Oracle, Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。
Oozie:负责MapReduce作业调度。
http://www.baidu.com/s?ie=utf-8&bs=%E8%BE%BE%E6%AD%A5%E6%BA%9C&f=8&rsv_bp=1&wd=%E8%BE%BE%E6%AD%A5%E6%BA%9C+%E6%8B%9B%E8%81%98&rsv_sug3=6&rsv_sug1=5&rsv_sug4=342&inputT=2548
相关文章推荐
- Hadoop包含哪些技术
- 人工智能包含哪些技术
- hadoop需要哪些技术支持
- 简述什么是ajax?ajax工作原理?ajax包含的技术?ajax有哪些优点缺陷?
- Java EE 包含哪些技术
- Hadoop的项目中包含了哪些产品?
- 程序员2014年应该学哪些技术?
- [技术选型] CDH-Cloudera Distribution Hadoop
- 面试问题(请说出除微服务以外的其他架构模式,以及可选的技术有哪些)
- 大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术
- mongodb集群——配置服务器放分片meta信息,说明meta里包含了哪些数据信息
- 2017年--10年java大神告诉你开发最常用的百分之二十的技术有哪些?
- Hadoop技术内幕:深入解析MapReduce架构设计与实现原理
- 什么是EJB?EJB是基于哪些技术实现的?
- 从Hadoop骨架MapReduce在海量数据处理模式(包括淘宝技术架构)
- Java Web项目开发到底需要掌握哪些技术?
- [hadoop读书笔记] Hadoop下各技术应用场景
- 一文看懂大数据的技术生态圈,Hadoop,hive,spark都有了
- 技术移民需要哪些条件?
- java分布式电子商务云平台b2b b2c o2o需要准备哪些技术??