ZooKeeper监控
2015-07-02 22:29
399 查看
在公司内部,有不少应用已经强依赖zookeeper,zookeeper的工作状态直接影响它们的正常工作。目前开源世界中暂没有一个比较成熟的zookeeper-monitor, 于是开始zookeeper监控这块工作。
目前zookeeper-monitor能做哪些事情,讲到这个,首先来看看哪些因素对zookeeper正常工作比较大的影响:
用于zookeeper写日志的目录要有足够大小,并且强烈建议在单独的磁盘(挂载点)上,这是影响ZK性能最大因素之一。
连接数。
注册的Watcher数。
ZNode是否可读,可写。
ZK事件通知的延时是否过大。
围绕以上几点展开,完成了taokeeper一期的开发,目前主要完成以下方面的监控:(项目地址:https://github.com/alibaba/taokeeper)
l CPU/MEM/LOAD的监控
l ZK日志目录所在磁盘剩余空间监控
l 单机连接数的峰值报警
l 单机 Watcher数的峰值报警
l 节点自检:是指对集群中每个IP所在ZK节点上的PATH: /YINSHI.MONITOR.ALIVE.CHECK 定期进行三次如下流程 : 节点连接 – 数据发布 – 修改通知 – 获取数据 – 数据对比, 在指定的延时内,三次流程均成功视为该节点处于正常状态。
ZooKeeper集群实时状态 (点击图片查看大图)
点击查看按钮可以查看当前服务器上所有订阅者的详细信息:
ZooKeeper监控报警设置 (点击图片查看大图)
ZooKeeper集群状态趋势图 (点击图片查看大图)
如何安装部署
首先,对之前使用 maven-war-plugin 来进行配置管理的方式,表示遗憾。不少开发人员反馈部署比较困难,另外还有一些对maven不熟悉的开发人员也是这样认为。现在有了改进,将配置与程序分离开来。对此给大家带来的不便,深表歉意。
一、直接部署
1. 下载taokeeper.sql,初始化数据库(Mysql).
2. 下载taokeeper-monitor.war文件,解压到tomcat的webapps目前下,确保最后目录结构如下: %TOMCAT_HOME%\webapps\taokeeper-monitor.war
3. 下载 taokeeper-monitor-config.properties文件,存放到一个指定目录,比如
/home/xiaoming/taokeeper-monitor/config/taokeeper-monitor-config.properties, 其中内容如下,根据需要自己修改下。
5. 在tomcat启动脚本中添加JAVA_OPTS:
5. 启动tomcat服务器
6. 正常启动后,访问:http://127.0.0.1:8080/taokeeper-monitor
二、从源代码开始
1. Check out 源代码:git@github.com:nileader/taokeeper.git
2. 修改代码…
3. 实现 com.taobao.taokeeper.reporter.alarm.MessageSender 接口,用于发送报警信息。(可选)
4. 到taokeeper根目录下执行 package.cmd 命令,打成一个war包,之后进行部署
如何使用
1. taokeeper-monitor启动后,还没有配置任何zookeeper集群,点击“加入监控”进行集群添加。
2. 配置zookeeper集群信息(点击查看大图)
目前zookeeper-monitor能做哪些事情,讲到这个,首先来看看哪些因素对zookeeper正常工作比较大的影响:
用于zookeeper写日志的目录要有足够大小,并且强烈建议在单独的磁盘(挂载点)上,这是影响ZK性能最大因素之一。
连接数。
注册的Watcher数。
ZNode是否可读,可写。
ZK事件通知的延时是否过大。
围绕以上几点展开,完成了taokeeper一期的开发,目前主要完成以下方面的监控:(项目地址:https://github.com/alibaba/taokeeper)
l CPU/MEM/LOAD的监控
l ZK日志目录所在磁盘剩余空间监控
l 单机连接数的峰值报警
l 单机 Watcher数的峰值报警
l 节点自检:是指对集群中每个IP所在ZK节点上的PATH: /YINSHI.MONITOR.ALIVE.CHECK 定期进行三次如下流程 : 节点连接 – 数据发布 – 修改通知 – 获取数据 – 数据对比, 在指定的延时内,三次流程均成功视为该节点处于正常状态。
ZooKeeper集群实时状态 (点击图片查看大图)
点击查看按钮可以查看当前服务器上所有订阅者的详细信息:
ZooKeeper监控报警设置 (点击图片查看大图)
ZooKeeper集群状态趋势图 (点击图片查看大图)
如何安装部署
首先,对之前使用 maven-war-plugin 来进行配置管理的方式,表示遗憾。不少开发人员反馈部署比较困难,另外还有一些对maven不熟悉的开发人员也是这样认为。现在有了改进,将配置与程序分离开来。对此给大家带来的不便,深表歉意。
一、直接部署
1. 下载taokeeper.sql,初始化数据库(Mysql).
2. 下载taokeeper-monitor.war文件,解压到tomcat的webapps目前下,确保最后目录结构如下: %TOMCAT_HOME%\webapps\taokeeper-monitor.war
3. 下载 taokeeper-monitor-config.properties文件,存放到一个指定目录,比如
/home/xiaoming/taokeeper-monitor/config/taokeeper-monitor-config.properties, 其中内容如下,根据需要自己修改下。
systemInfo.envName=TEST #DBCP dbcp.driverClassName=com.mysql.jdbc.Driver dbcp.dbJDBCUrl=jdbc:mysql://1.1.1.1:3306/taokeeper dbcp.characterEncoding=GBK dbcp.username=xiaoming dbcp.password=123456 dbcp.maxActive=30 dbcp.maxIdle=10 dbcp.maxWait=10000 #SystemConstant SystemConstent.dataStoreBasePath=/home/xiaoming/taokeeper-monitor/ZookeeperStore #SSH account of zk server SystemConstant.userNameOfSSH=xiaoming SystemConstant.passwordOfSSH=123456
5. 在tomcat启动脚本中添加JAVA_OPTS:
JAVA_OPTS=-DconfigFilePath="/home/xiaoming/taokeeper-monitor/config/taokeeper-monitor-config.properties"
5. 启动tomcat服务器
6. 正常启动后,访问:http://127.0.0.1:8080/taokeeper-monitor
二、从源代码开始
1. Check out 源代码:git@github.com:nileader/taokeeper.git
2. 修改代码…
3. 实现 com.taobao.taokeeper.reporter.alarm.MessageSender 接口,用于发送报警信息。(可选)
4. 到taokeeper根目录下执行 package.cmd 命令,打成一个war包,之后进行部署
如何使用
1. taokeeper-monitor启动后,还没有配置任何zookeeper集群,点击“加入监控”进行集群添加。
2. 配置zookeeper集群信息(点击查看大图)
相关文章推荐
- Linux基础-运维常用命令
- Linux文件系统结构
- 浅谈图片服务器的架构演进
- shell中的$$ $! $n的意义
- hadoop的集群安装总结
- Docker学习笔记 — Swarm搭建Docker集群
- centos 7安装mysql5.5
- 网站色调如何确定,颜色怎么搭配?
- rop入门(一)
- OpenCV之四 ROI区域图像叠加&初级图像混合
- opencv测试分类器性能 opencv_performance.exe 使用方法 及参数含义
- phalcon第三个例子(日志类Logger)ubuntu14.04 apache通过apt-get安装
- 网站开发负责人需要注意那些事?
- window.showModalDialog以及window.open用法简介
- JSP学习笔记1(声明,输出表达式,脚本,page,include,forward,usebean,setproperty,getproperty)
- linux下安装cmake
- CentOS 6 安装MAVEN及系统配置
- Linux下高并发socket最大连接数
- linux程序设计——进程和信号(第十一章)
- 鸟哥的Linux私房菜-----11、压缩指令与正则表示法