Hadoop
2016-06-30 08:05
204 查看
目前Hadoop发行版非常多,有华为发行版、Intel发行版、Cloudera发行版(CDH)等,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的版本,完全是由Apache Hadoop的开源协议决定的:任何人可以对其进行修改,并作为开源或商业产品发布/销售。(http://www.apache.org/licenses/LICENSE-2.0)。
目前而言,绝大多数公司发行版是收费的,比如Intel发行版、华为发行版等,尽管这些发行版增加了很多开源版本没有的新feature,但绝大多数公司选择Hadoop版本时会将把是否收费作为重要指标,目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”)、Hortonworks版本(Hortonworks
Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,主要理由如下:
(1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第一代Hadoop(Hadoop 1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱得多;
(2) CDH文档清晰,很多采用Apache版本的用户都会阅读cdh提供的文档,包括安装文档、升级文档等。
CDH与Apache版本是怎么对应的?cdh3版本是基于apache hadoop 0.20.2改进的,并融入了最新的patch,目前看来,最新的cdh3u6基本可以对应到apache hadoop最新版本(Hadoop 1.x),而cdh3u1~cdh3u5与apache hadoop版本对应的关系不明确,因为cdh总是打入一些最新的patch进去,并比apache hadoop同功能版本提早发布。总体上说,apache和cdh版本功能上是一致的。
HDP版本是比较新的版本,目前与apache基本同步,因为Hortonworks内部大部分员工都是apache代码贡献者,尤其是Hadoop 2.0的贡献者。
此外,cdh4和apache hadoop 2.x版本属于下一代Hadoop(Hadoop 2.0),目前处于beta版,尚未发布稳定版,且目前使用的公司非常少,大部分处于调研阶段。
基于以上考虑,如果线上使用,推荐cdh3最新版本,即cdh3u6(相当于apache hadoop最新稳定版),下载地址为:http://archive.cloudera.com/cdh/3/
具体各个项目下载地址如下:
Hadoop内核(HDFS和MapReduce):
http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u6.tar.gz
HBase:
http://archive.cloudera.com/cdh/3/hbase-0.90.6-cdh3u6.tar.gz
hive:
http://archive.cloudera.com/cdh/3/hive-0.7.1-cdh3u6.tar.gz
mahout:
http://archive.cloudera.com/cdh/3/mahout-0.5-cdh3u6.tar.gz
pig:
http://archive.cloudera.com/cdh/3/pig-0.8.1-cdh3u6.tar.gz
sqoop:
http://archive.cloudera.com/cdh/3/sqoop-1.3.0-cdh3u6.tar.gz
zookeeper:
http://archive.cloudera.com/cdh/3/zookeeper-3.3.5-cdh3u6.tar.gz
flume:
http://archive.cloudera.com/cdh/3/flume-0.9.4-cdh3u6.tar.gz
目前Hadoop发行版非常多,有华为发行版、Intel发行版、Cloudera发行版(CDH)等,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的版本,完全是由Apache Hadoop的开源协议决定的:任何人可以对其进行修改,并作为开源或商业产品发布/销售。(http://www.apache.org/licenses/LICENSE-2.0)。
目前而言,绝大多数公司发行版是收费的,比如Intel发行版、华为发行版等,尽管这些发行版增加了很多开源版本没有的新feature,但绝大多数公司选择Hadoop版本时会将把是否收费作为重要指标,目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”)、Hortonworks版本(Hortonworks
Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,主要理由如下:
(1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第一代Hadoop(Hadoop 1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱得多;
(2) CDH文档清晰,很多采用Apache版本的用户都会阅读cdh提供的文档,包括安装文档、升级文档等。
CDH与Apache版本是怎么对应的?cdh3版本是基于apache hadoop 0.20.2改进的,并融入了最新的patch,目前看来,最新的cdh3u6基本可以对应到apache hadoop最新版本(Hadoop 1.x),而cdh3u1~cdh3u5与apache hadoop版本对应的关系不明确,因为cdh总是打入一些最新的patch进去,并比apache hadoop同功能版本提早发布。总体上说,apache和cdh版本功能上是一致的。
HDP版本是比较新的版本,目前与apache基本同步,因为Hortonworks内部大部分员工都是apache代码贡献者,尤其是Hadoop 2.0的贡献者。
此外,cdh4和apache hadoop 2.x版本属于下一代Hadoop(Hadoop 2.0),目前处于beta版,尚未发布稳定版,且目前使用的公司非常少,大部分处于调研阶段。
基于以上考虑,如果线上使用,推荐cdh3最新版本,即cdh3u6(相当于apache hadoop最新稳定版),下载地址为:http://archive.cloudera.com/cdh/3/
具体各个项目下载地址如下:
Hadoop内核(HDFS和MapReduce):
http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u6.tar.gz
HBase:
http://archive.cloudera.com/cdh/3/hbase-0.90.6-cdh3u6.tar.gz
hive:
http://archive.cloudera.com/cdh/3/hive-0.7.1-cdh3u6.tar.gz
mahout:
http://archive.cloudera.com/cdh/3/mahout-0.5-cdh3u6.tar.gz
pig:
http://archive.cloudera.com/cdh/3/pig-0.8.1-cdh3u6.tar.gz
sqoop:
http://archive.cloudera.com/cdh/3/sqoop-1.3.0-cdh3u6.tar.gz
zookeeper:
http://archive.cloudera.com/cdh/3/zookeeper-3.3.5-cdh3u6.tar.gz
flume:
http://archive.cloudera.com/cdh/3/flume-0.9.4-cdh3u6.tar.gz
相关文章推荐
- read()/write()的生命旅程——前言与目录
- read()/write()的生命旅程之二——第二章:read()
- read()/write()的生命旅程之三——第三章:write()
- read()/write()的生命旅程之五——第五章:从bio到media
- read()/write()的生命旅程之四——第四章:writeback
- top执行过程中的一些交互命令
- 配置Nginx多核CPU,worker_cpu_affinity使用方法和范例
- linux shell 流程控制
- Hadoop集群化搭建(三)配置SSH互信
- 微软说它深爱着Linux,现在它用行动证明了
- Linux下shell脚本制作俄罗斯方块游戏
- 使用Docker搭建ELK日志搜集系统(三)
- DP - CF 611D New Year and Ancient Prophecy
- CentOS安装LAMP+phpmyadmin
- shell中if条件判断中的双圆括号、双中括号、单中括号
- 被误解的MVC和被神化的MVVM (本文转载与infoQ技术网站)
- Windows搭建OpenGL ES 2.0开发环境
- Hadoop RPC源码阅读-交互协议
- Codeforces Round #359 (Div. 2)E. Optimal Point
- Linux程序设计 笔记