kafka监控软件kafka-manager 安装配置

运行环境

1、Kafka 0.8.1.1 or 0.8.2.* or 0.9.0.* or 0.10.0.*

2、sbt 0.13.x

3、Java 8+

功能

管理多个集群

容易检查集群状态（主题、消费者、偏移量、代理、副本分布、分区分布）

运行首选副本选举

使用选项生成分区赋值以选择要使用的代理

运行分区的重新分配（基于生成的赋值）

创建一个可选的主题配置主题（0.8.1.1比82 +不同的配置）

删除主题（仅在0.8.2 +支持记得设置删除。话题。使=在代理配置正确）

话题列表现在显示标记为删除的内容（仅在0.8.2 +支持）

批量生成多个主题的分区分配，并选择要使用的代理多个主题分区的批处理运行再分配

向现有主题添加分区

更新现有主题的配置

选择是否启用JMX轮询代理层和主题水平的指标。

选择过滤出消费者没有IDS /业主/偏移/目录管理员

编译环境部署

下载安装sbt源码包，这里我下载的版本是sbt-0.13.15

http://www.scala-sbt.org/download.html

解压文件

[root@storm1 sbt]# pwd
/application/kafka-manager/sbt
[root@storm1 sbt]# tree -L 2
.
├── sbt
│   ├── bin
│   ├── conf
│   ├── lib
│   └── sbt
└── sbt-0.13.15.zip
其中/application/kafka-manager/sbt/sbt/sbt 文件新建并写入内容：
[root@storm1 sbt]# cat sbt
BT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /application/kafka-manager/sbt/sbt/bin/sbt-launch.jar "$@
添加可执行权限 chmod u+x sbt

配置PATH 环境量

vim /etc/profile  添加内容
#sbt环境
export PATH=/application/kafka-manager/sbt/sbt/:$PATH

source /etc/profile 使其生效。

sbt设置

配置文件在/application/kafka-manager/sbt/sbt/conf

设置网络代理

vim  sbtconfig.tx
-Dhttp.proxyHost=proxy.zte.com.cn
-Dhttp.proxyPort=80

第一次执行下载相应的依赖包

sbt sbt-version //这里比较耗时间

下载完成后，会在你当前用户的目前下面生成两个文件夹

sbt工作文件夹.sbt和lvy缓存目录.ivy2，修改默认路径，在配置中添加：

-Dsbt.global.base=/root/.sbt
-Dsbt.ivy.home=/root/.ivy2

测试sbt是否安装成功

[root@storm1 sbt]# ./bin/sbt sbt-version
WARN: No sbt.version set in project/build.properties, base directory: /application/kafka-manager/sbt/sbt
[warn] Executing in batch mode.
[warn]   For better performance, hit [ENTER] to switch to interactive mode, or
[warn]   consider launching sbt without any commands, or explicitly passing 'shell'
[info] Set current project to sbt (in build file:/application/kafka-manager/sbt/sbt/)
[info] 0.13.15

下载源码编译打包

获取kafka-manager源码，并编译打包，包会生成在(kafka-manager/target/universal)

git clone https://github.com/yahoo/kafka-manager cd kafka-manager
./sbt clean dist

安装、配置、启动

在conf/application.conf中将kafka-manager.zkhosts的值设置为你的zk地址

编辑application.conf
/application/kafka-manager/kafka-manager/target/universal/kafka-manager-1.3.3.7/conf/application.conf

启动，指定配置文件和端口号

nohup bin/kafka-manager
-Dconfig.file=/application/kafka-manager/kafka-manager/target/universal/kafka-manager-1.3.3.7/conf/application.conf
-Dhttp.port=7778 &

访问http://yourip:7778 进入web管理界面，并添加相应kafka-cluster配置如下：



这里要开启选项前提是：在配置kafka集群的时候指定相应jmx端口

Enable JMX Polling (Set JMX_PORT env variable before starting kafka server)

Poll consumer information (Not recommended for large # of consumers)

kafka服务必需要开启JMX，否则在下一步启动kafka-manager时会出现：

java.lang.IllegalArgumentException: requirement failed: No jmx port but jmx polling enabled!

启动kafka服务时指定JMX_PORT值:

JMX_PORT=9999 bin/kafka-server-start.sh -daemon config/server.properties   //一台机器部署多个server采用此方法

或者修改kafka-server-start.sh，在前面加上：

export JMX_PORT=9999  //如果一台机器部署一个server 建议采用此方法