您的位置：首页 > 其它

雅虎开源的Kafka集群管理器(Kafka Manager)

2015-10-29 14:05 190 查看
Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。

　　为了简化开发者和服务工程师维护Kafka集群的工作，构建了一个叫做Kafka管理器的基于Web工具，叫做KafkaManager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具。

　　该软件是用Scala语言编写的。目前(2015年02月03日)雅虎已经开源了KafkaManager工具。这款Kafka集群管理工具主要支持以下几个功能：

　　1、管理几个不同的集群；

　　2、很容易地检查集群的状态(topics,brokers,副本的分布,分区的分布)；

　　3、选择副本；

　　4、产生分区分配(Generatepartitionassignments)基于集群的当前状态；

　　5、重新分配分区。

　　以下是该集群管理工具的截图：





如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop





如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop





如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop





如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop

　　该软件安装需要条件如下：

　　1、Kafka0.8.1.1或0.8.2-beta

　　2、sbt0.13.x

　　3、Java7+

　　系统配置

　　系统最少需要配置zookeepe集群的地址，可以在kafka-manager安装包的conf目录下面的application.conf文件中进行配置。例如：

01
/**
02
*
User:过往记忆
03
*
Date:15-02-05
04
*
Time:上午02:30
05
*
bolg:http://www.iteblog.com
06
*
本文地址：http://www.iteblog.com/archives/1264
07
*
过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货
08
*
过往记忆博客微信公共帐号：iteblog_hadoop
09
*/
10
11
kafka-manager.zkhosts=
"www.iteblog.com:2181"
　　部署kafkamanager

　　下面的命令可以创建一个zip压缩包，而这个压缩包可以用来部署该应用：

01
/**
02
*
User:过往记忆
03
*
Date:15-02-05
04
*
Time:上午02:30
05
*
bolg:http://www.iteblog.com
06
*
本文地址：http://www.iteblog.com/archives/1264
07
*
过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货
08
*
过往记忆博客微信公共帐号：iteblog_hadoop
09
*/
10
11
sbt
cleandist
　　生成环境的部署情况可以查看playframework的官方文档。github下载地址请看这里：

点击这下载该项目源码
                                            

                                        

                        
                        内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息 
                    

                    

                    

                        

                         标签： 
                                                

                        

                    


                

            


            

                
相关文章推荐

                

                
            

        

        

            

            
            

                

                    
新的分享

                    

                        
                    

                

            


            

                

                    
章节导航