CDH(Cloudera)版本的 Hadoop
2015-10-26 08:02
295 查看
Cloudera Hadoop介绍
CDH版本衍化
hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变。Cloudera公司的发行版,我们将该版本称为CDH(Cloudera Distribution Hadoop)。截至目前为止,CDH共有5个版本,其中,前两个已经不再更新,最近的两个,分别是CDH4在Apache Hadoop 2.0.0版本基础上演化而来的),CDH5,它们每隔一段时间便会更新一次。Cloudera以patch level划分小版本,比如patch level为923.142表示在原生态Apache Hadoop 0.20.2基础上添加了1065个patch(这些patch是各个公司或者个人贡献的,在Hadoop jira上均有记录),其中923个是最后一个beta版本添加的patch,而142个是稳定版发行后新添加的patch。由此可见,patch level越高,功能越完备且解决的bug越多。
Cloudera版本层次更加清晰,且它提供了适用于各种操作系统的Hadoop安装包,可直接使用apt-get或者yum命令进行安装,更加省事。
CDH版本下载
CDH3:http://archive.cloudera.com/cdh/3/ CDH4:http://archive.cloudera.com/cdh4/cdh/4/ CDH5:http://archive.cloudera.com/cdh5/cdh/5/
在 oschina 国内镜像源处的下载依赖地方:
maven.oschina.net/content/groups/public/org/apache/hadoop/
CDH5 的 64 位 RPM 包及 tar 包的下载地址:
http://archive-primary.cloudera.com/cdh5/redhat/5/x86_64/cdh/ http://archive.cloudera.com/cdh5/cdh/5/[/code]
CDH(Cloudera)与 Hadoop(Apache)对比
Cloudera的CDH和Apache的Hadoop的区别 目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)
Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)
Hortonworks版本(Hortonworks Data Platform,简称“HDP”)
对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:
CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第一代Hadoop(Hadoop 1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱得多;比Apache hadoop在兼容性,安全性,稳定性上有增强。
CDH3版本是基于Apache hadoop 0.20.2改进的,并融入了最新的patch,CDH4版本是基于Apache hadoop 2.X改进的,CDH总
是并应用了最新Bug修复或者Feature的Patch,并比Apache hadoop同功能版本提早发布,更新速度比Apache官方快。
安全 CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证
CDH文档清晰,很多采用Apache版本的用户都会阅读CDH提供的文档,包括安装文档、升级文档等。
CDH支持Yum/Apt包,Tar包,RPM包,CM安装,Cloudera Manager三种方式安装,Apache hadoop只支持Tar包安装。
注:CDH使用推荐的Yum/Apt包安装时,有以下几个好处:
联网安装、升级,非常方便
自动下载依赖软件包
hadoop生态系统包自动匹配
不需要你寻找与当前hadoop匹配的Hbase,Flume,Hive等软件,Yum/Apt会根据当前安装hadoop版本自动寻找匹配版本的软件包,并保证兼容性
自动创建相关目录并软链到合适的地方(如conf和logs等目录)
自动创建hdfs, mapred用户,hdfs用户是HDFS的最高权限用户,mapred用户则负责mapreduce执行过程中相关目录的权限
其他资料
CDH这个服务安装运行的电脑起码8g内存,这只是运行服务,没有运行程序,公司都是64G内存运行这些的。不需要编译.下载完CDH的按照安装教程安装就可以了关于安装,可参考
Hadoop-2.5.0-cdh5.3.2 获取源码及编译
Hadoop-2.5.0-cdh5.3.2 搭建单机伪分布
Hadoop-2.5.0-cdh5.3.2 搭建完全分布
资料来源
Cloudera Hadoop什么是CDH及CDH版本介绍:http://www.aboutyun.com/thread-6788-1-2.htmlCDH(Cloudera)与hadoop(apache)对比:http://www.aboutyun.com/thread-9225-1-1.html
相关文章推荐
- Linux 中 df 命令的11个例子
- Linux 中 df 命令的11个例子
- control + D 退出linux 当前命令(行)
- 自定义bash终端提示符
- [Angular 2] Template property syntax
- VmWare10 32位安装CentOS7遇到的问题及解决办法
- 如何判断linux用户是否为root用户
- iOS应用架构谈 view层的组织和调用方案
- Xshell学习--菜鸟篇
- 1.windows技巧-开机规避自动打开go_miscrosoft网站
- hadoop集群搭建——轻松版
- linux下设置了SSH免密码登录但还是需要输入密码的解决办法
- autoprefixer
- Linux Bash代码 利用for循环实现命令的多次执行
- 《HBase权威指南》读书笔记8:第八章 架构
- ubuntu14.04 配置hadoop
- Linux 操作系统初探
- centos 关闭进程
- 关于网站性能优化准则
- Tomcat8 安装和配置