管理工具 Kafka Manager

管理工具 Kafka Manager

一、概述

Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。
　　为了简化开发者和服务工程师维护Kafka集群的工作，构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具。
　　该软件是用Scala语言编写的。目前(2015年02月03日)雅虎已经开源了Kafka Manager工具。这款Kafka集群管理工具主要支持以下几个功能：
　　1、管理几个不同的集群；
　　2、很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布)；
　　3、选择副本；
　　4、产生分区分配(Generate partition assignments)基于集群的当前状态；
　　5、重新分配分区。

二、Kafka Manager下载及安装

项目地址：https://github.com/yahoo/kafka-manager

这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些，显示的信息更加丰富，kafka-manager本身可以是一个集群。

不过kafka-manager也没有权限管理功能。

下载：

下载完后，只能源代码你什么也做不了，我们要把项目编译打包，该软件是用Scala语言编写，把有编译打包很麻烦，他依赖于sbt。sbt比较难安装。

三、sbt安装

1、下载sbt-0.13.11

我的服务器是centos 自动安装几次没有成功，我还是选择手动安装。

请自己到http://www.scala-sbt.org/download.html下载最新版本，我的版本是sbt-0.13.11

2、建立目录，解压文件到所建立目录

　 3、建立启动sbt的脚本文件

　　并修改sbt文件权限

　　4、配置PATH环境变量，保证在控制台中可以使用sbt命令

　　

　 5、测试sbt是否安装成功
第一次执行时，会下载一些文件包，然后才能正常使用，要确保联网了，下载的过程分很慢。安装成功后显示如下

　　

四、编绎打包

　　生成的包会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了，在部署的机器上不需要安装sbt。

如果打包会很慢的要有点耐心呀，还有可能打包失败，可以考虑配置代理。

四、Kafka Manager部署

1、打好包好，在部署机器上解压，修改好配置文件，就可以运行了--解压

　2、修改conf/application.conf，把kafka-manager.zkhosts改为自己的zookeeper服务器地址

　3、启动

　4、查看帮助 和 后台运行

　说明：正常来说，play框架应该会自动加载conf/application.conf配置里的内容，但是貌似这个不起作用，要显式指定才行。

参考： https://github.com/yahoo/kafka-manager/issues/16

5、默认http端口是9000，可以修改配置文件里的http.port的值，或者通过命令行参数传递：

五、sbt 配置代理

sbt的配置http代理的参考文档：http://www.scala-sbt.org/0.12.1/docs/Detailed-Topics/Setup-Notes.html#http-proxy

通过-D设置叁数即可：

　　也可以用下面这种方式，设置一下SBT_OPTS的环境变量即可：

　　注意：myproxy，这个值里不要带http前缀，也不要带端口号。

比如，你的代理是http://localhost:8123，那么应该这样配置：