快速入门Kafka系列(8)——Kafka监控及运维
作为快速入门Kafka系列的第八篇博客,本篇为大家带来的是kafka监控及运维~
码字不易,先赞后看!
文章目录
- Kafka监控及运维
- 1. Kafka-eagle 概述
- 2. 环境和安装
- 2.1 环境要求
- 2.2 安装步骤
- 2.2.1 下载源码包
- 2.2.2 解压
- 2.2.3 修改kafka-eagle配置文件
- 2.2.4 配置环境变量
- 2.2.5 启动kafka-eagle
- 2.2.6 访问主界面
Kafka监控及运维
在开发工作中,消费在Kafka集群中消息,数据变化是我们关注的问题,当业务前提不复杂时,我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具,可以轻松完成我们的工作。随着业务的复杂性,增加Group和 Topic,那么我们使用Kafka提供命令工具,已经感到无能为力,那么Kafka监控系统目前尤为重要,我们需要观察 消费者应用的细节。
1. Kafka-eagle 概述
为了简化开发者和服务工程师维护Kafka集群的工作有一个监控管理工具,叫做 Kafka-eagle。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具。
2. 环境和安装
2.1 环境要求
需要安装jdk,启动zk以及kafka的服务
2.2 安装步骤
2.2.1 下载源码包
kafka-eagle官网:
http://download.kafka-eagle.org/
我们可以从官网上面直接下载最细的安装包即可
kafka-eagle-bin-1.3.2.tar.gz这个版本即可
代码托管地址:
https://github.com/smartloli/kafka-eagle/releases
2.2.2 解压
这里我们选择将kafka-eagle安装在第三台
直接将kafka-eagle安装包上传到node03服务器的/export/softwares路径下,然后进行解压
任意一台节点服务器执行以下命令进行解压
(本篇博客以node01为例)
cd /export/softwares/ tar -zxf kafka-eagle-bin-1.3.2.tar.gz -C /export/servers/ cd /export/servers/kafka-eagle-bin-1.3.2 tar -zxf kafka-eagle-web-1.3.2-bin.tar.gz
2.2.3 修改kafka-eagle配置文件
node01执行以下命令修改kafka-eagle配置文件
cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/conf vim system-config.properties
在文件中更改成如下配置
# 配置多个Kafka集群所对应的Zookeeper kafka.eagle.zk.cluster.alias=cluster1,cluster2 cluster1.zk.list=node01:2181,node02:2181,node03:2181 cluster2.zk.list=node01:2181,node02:2181,node03:2181 # Kafka Eagle默认存储在Sqlite中,如果要使用 # MySQL可以替换驱动、用户名、密码、连接地址 #kafka.eagle.driver=com.mysql.jdbc.Driver #kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull #kafka.eagle.username=root #kafka.eagle.password=123456 kafka.eagle.driver=org.sqlite.JDBC kafka.eagle.url=jdbc:sqlite:/export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/db/ke.db kafka.eagle.username=root kafka.eagle.password=123456
2.2.4 配置环境变量
kafka-eagle必须配置环境变量,执行以下命令来进行配置环境变量
vim /etc/profile.d/ke.sh
export KE_HOME=/export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2 export PATH=:$KE_HOME/bin:$PATH
2.2.5 启动kafka-eagle
执行以下界面启动kafka-eagle
cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/bin chmod u+x ke.sh ./ke.sh start
2.2.6 访问主界面
到了这一步,我们就可以根据网址访问kafka-eagle了
http://node01:8048/ke/account/signin?/ke/
因为博主是在node01这台节点操作的,所以地址栏中填写的是node01
大家只要在windows的host文件中配置了主机IP对应的别名,就可以做到用主机名代替IP在URL中显示了~
如果上面的步骤没有执行错误的话,正常页面会出现像下面这个亚子
输入我们前面在
system-config.properties中设置的用户名和密码(),然后就可以成功进入到Kafka的集群管理界面了~
为了方便大家观看,这里我把界面比例缩小了
大家也看到了最左侧从上到下依次显示的是
Dashboard,
Topic,
Consumers,
Metrics,
Alarm,
System的数据信息
感兴趣的朋友可以继续探索,博主在这里就不再赘述了~
本篇博客的内容分享,就到这里,感兴趣的朋友们记得点赞加关注哟~
Alice菌 原创文章 276获赞 2834访问量 55万+ 关注 私信
- elasticsearch系列二:索引详解(快速入门、索引管理、映射详解、索引别名)
- 快速入门系列--WebAPI--04在老版本MVC4下的调整
- Gradle学习系列之一——Gradle快速入门
- [转]Ultra Fractal教程系列08——快速入门教程05——打开保存的分形
- kafka安装及快速入门
- Qt快速入门系列教程目录
- 快速入门系列--MVC--01概述
- 快速入门系列--MVC--03控制器和IOC应用
- vim快速入门【实验楼系列shiyanlou.com】
- [MySQL FAQ]系列 -- Linux命令行下快速监控mysql
- [新手入门]快速学习 ADO.NET Entity Framework系列文章 #3 -- LINQ-to-SQL、EntitySQL、查询产生器方法(Query builder)三种语法
- 极客react之Ant Design Pro系列快速入门(三)--菜单与权限
- 快速入门系列--CLR--02多线程
- apache kafka监控系列-KafkaOffsetMonitor
- kafka快速入门,生产者与消费者案例
- 详解运维监控利器Nagios 系列(三)-配置Nagios监控系统 (3)
- Sencha Touch 2 快速入门系列(八) -- 控制器(Controller)
- 【转】apache kafka监控系列-KafkaOffsetMonitor
- 我给女朋友讲编程html系列(1) -- Html快速入门
- Gradle学习系列之一——Gradle快速入门