Cloudera 5.7集群部署（四）--KAFKA集成

1 Cloudera kafka集成

参考CDH官网文档http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html
在CDH官网中关于Kafka的安装和升级中已经说到，在CDH中，Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包。

1.1 Kafka parcels包下载

csd包：http://archive.cloudera.com/csds/kafka/



parcel包： http://archive.cloudera.com/kafka/parcels/latest/ （根据自己的集群的系统版本下载）



1.2 Kafka parcels包上传

上传 KAFKA-1.2.0.jar放到cm安装节点下的 /opt/cloudera/csd目录下，如图 :



将parcel包放到cm安装节点下的/opt/cloudera/parcel-repo目录下，如图：



1.3 检查更新，分配激活

如下图，分配的kafka parcels必须要激活。



如下图，激活成功



1.4 往集群里添加kafka服务

如下图：



1.5 kafka配置

安装kafka服务时，会报java heap memory out

进主机各broker中配置一看，居然默认是50M（奇葩配置），改为2G以上

：