CDH集成Kafka

参考CDH官网文档http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html

在CDH官网中关于Kafka的安装和升级中已经说到，在CDH中，Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包。只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了，就可以实现完美集成了。

注意集成之前请阅读官方文档，特别是版本支持方面。



集成过程，直接上图：

Kafka安装包准备：

 csd包：http://archive.cloudera.com/csds/kafka/

 parcel包： http://archive.cloudera.com/kafka/parcels/latest/ （根据自己的集群的系统版本下载 ）

我们这里centos6.7 x64的系统，注意下载对应的parcel包，如下图所示





在此得注意hash值的匹配

CDH集成Kafka实现：

1、将原来Kafka的在CDH中删除

2、csd包放到cm安装节点下的 /opt/cloudera/csd目录下，如图 :



3、将parcel包放到cm安装节点下的/opt/cloudera/parcel-repo目录下，如图：



 

4、启动cm服务，检查更新parcel，分配并激活percel包，注意此处一定要激活才能使用

 


 

5、添加kafka服务和配置角色节点



6、启动服务