shell小项目--告警系统
2018-04-24 10:04
232 查看
一 需求分析
需求:使用shell定制各种个性化告警工具,但需要统一化管理、规范化管理。在Linux运维中,大部分的工作都围绕着监控在跑,除了zabbix这类比较成熟的解决方案,有时候zabbix不能完全满足我们的需求,比如做一些比较冷门的监控,zabbix就需要写自定义监控脚本、传输数据等,有时候网络出点问题,从客户端到服务端无法通信,zabbix监控就无法将数据上报到服务端上去,这时候可以用一个shell脚本来暂时做监控;这里的shell脚本是分布式的,需要在每一台服务器上放这个监控的脚本,每一台机器可以独立监控,不需要依赖其他机器,比较关键的是要做一个邮件系统,邮件思路:指定一个脚本包,包含主程序、子程序、配置文件、邮件引擎、输出日志等。主程序:作为整个脚本的入口,是整个系统的命脉。配置文件:是一个控制中心,用它来开关各个子程序,指定各个相关联的日志文件。子程序:这个才是真正的监控脚本,用来监控各个指标。邮件引擎:是由一个python程序来实现,它可以定义发邮件的服务器、发邮件人以及发件人密码输出日志:整个监控系统要有日志输出。要求:我们的机器角色多种多样,但是所有机器上都要部署同样的监控系统,也就说所有机器不管什么角色,整个程序框架都是一致的,不同的地方在于根据不同的角色,定制不同的配置文件。程序架构: bin下是主程序conf下是配置文件shares下是各个监控脚本mail下是邮件引擎log下是日志。二 主脚本
首先我们可以创建主目录和下面所有的脚本目录,[root@lijie-01 ~]# cd /usr/local/sbin [root@lijie-01 sbin]# mkdir mon [root@lijie-01 sbin]# cd mon [root@lijie-01 mon]# ls [root@lijie-01 mon]# mkdir bin conf shares log mail [root@lijie-01 mon]# ls bin conf log mail shares [root@lijie-01 mon]# cd bin [root@lijie-01 bin]# vim main.sh [root@lijie-01 bin]#然后我们来写主脚本内容如下:
#!/bin/bash # 是否发送邮件的开关,当send=1时,表示给下面所有的监控项目都会发送邮件,如果维护时,可以选择将发送邮件的这个总开关设置为0 export send=1 # 过滤ip地址,表示上报告警的ip地址,因每台机器独立上报,需要单独过滤 export addr=`/sbin/ifconfig |grep -A1 "ens33: "|awk '/inet/ {print $2}'` # 获取当前所在目录路径 dir=`pwd` # 只需要最后一级目录名 last_dir=`echo $dir|awk -F'/' '{print $NF}'` # 下面的判断目的是,保证执行脚本的时候,我们在bin目录里,不然监控脚本、邮件和日志很有可能找不到,这也意味着当执行main.sh这个脚本之前我们先要切换到这个目录里面来 if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then conf_file="../conf/mon.conf" else echo "you shoud cd bin dir" exit fi #输出正确的日志和错误日志 exec 1>>../log/mon.log 2>>../log/err.log #将系统负载标记上时间, echo "`date +"%F %T"` load average" # 执行子脚本 /bin/bash ../shares/load.sh #先检查配置文件中是否需要监控502 if grep -q 'to_mon_502=1' $conf_file; then export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'` /bin/bash ../shares/502.sh fi
三 配置文件
配置文件主要定义一些开关,和一些日志的路径,配置文件需要放在../conf/mon.conf这个路径,我们在主脚本中已经定义好了的mon.conf内容## to config the options if to monitor ## 定义mysql的服务器地址、端口以及user、password to_mon_cdb=0 ##是否监控cdb数据库,0 or 1, default 0,0 not monitor, 1 monitor db_ip=10.20.3.13 db_port=3315 db_user=username db_pass=passwd ## httpd 如果是1则监控,为0不监控 to_mon_httpd=0 ## php 如果是1则监控,为0不监控 to_mon_php_socket=0 ## http_code_502 需要定义访问日志的路径 to_mon_502=1 logfile=/data/log/xxx.xxx.com/access.log ##状态码来源于这个日志 ## request_count 定义日志路径以及域名 to_mon_request_count=0 #是否监控请求数 req_log=/data/log/www.discuz.net/access.log domainname=www.discuz.net ##如果机器数量不多,子脚本需要用到的资源是可以在子脚本中定义的,但如果机器数量很多,再到子脚本中定义通用性不强
四 监控项目(子脚本)
load.sh内容#! /bin/bash #将当前负载值赋值给load load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1` #如果负载大于10并且允许发送邮件,则调用邮件发送脚本 if [ $load -gt 10 ] && [ $send -eq "1" ] then echo "$addr `date +%T` load is $load" >../log/load.tmp /bin/bash ../mail/mail.sh aming_test@163.com "$addr\_load:$load" `cat ../log/load.tmp` fi #否则记录一条负载值到日志中 echo "`date +%T` load is $load"502.sh内容
#! /bin/bash #时间设置为1分钟以前,因为监控是1分钟执行一次,所以这里我们查看到的日志是一分钟以前的 d=`date -d "-1 min" +%H:%M` c_502=`grep :$d: $log |grep ' 502 '|wc -l` if [ $c_502 -gt 10 ] && [ $send == 1 ]; then echo "$addr $d 502 count is $c_502">../log/502.tmp /bin/bash ../mail/mail.sh $addr\_502 $c_502 ../log/502.tmp fi echo "`date +%T` 502 $c_502"disk.sh内容
五 邮件引擎
mail.sh内容 ```#这个脚本用于做告警收敛#这里的$1指的是在监控子脚本中发送告警邮件的代码后面跟的第一个参数log=$1#定义了一个时间戳t_s=date +%s#定义两个小时以前的时间戳,用于第一次执行脚本时第一次发生异常必需要报警t_s2=
date -d "2 hours ago" +%s#如果日志不存在,就将两个小时以前的时间戳写入日志中if [ ! -f /tmp/$log ]thenecho $t_s2 > /tmp/$logfit_s2=
tail -1 /tmp/$log|awk '{print $1}'echo $t_s>>/tmp/$log#比较两个时间戳v=$[$t_s-$t_s2]echo $v#如果两次时间戳间隔大于1小时,就报警if [ $v -gt 3600 ]then./mail.py $1 $2 $3#$log.txt用于计数,从这时开始新的计数echo "0" > /tmp/$log.txtelseif [ ! -f /tmp/$log.txt ]thenecho "0" > /tmp/$log.txtfinu=
cat /tmp/$log.txtnu2=$[$nu+1]echo $nu2>/tmp/$log.txtif [ $nu2 -gt 10 ]then./mail.py $1 "trouble continue 10 min $2" "$3"echo "0" > /tmp/$log.txtfifi
五 运行监控项目===========首先编辑计划任务
crontab -e
任务计划如下:每分钟执行一次,首先进入/usr/local/sbin/mon/bin目录下,然后执行主脚本。必须要进入bin目录下,不然脚本没办法正常执行cd /usr/local/sbin/mon/bin; bash main.sh
相关文章推荐
- day 73 shell项目之告警系统
- Shell告警系统(需求分析,告警系统主脚本,告警系统配置文件,告警系统监控项目)
- day 74 shell项目告警系统(2)
- 【小项目】:使用shell编写一个简单的告警系统
- shell中的函数,shell中的数组,告警系统需求分析
- 告警系统主脚本、告警系统配置文件、告警系统监控项目
- WSS项目管理系统Post get shell
- 20.20 告警系统主脚本 20.21 告警系统配置文件 20.22 告警系统监控项目
- 【shell编程】告警系统主脚本、告警系统配置文件和告警系统监控项目
- 警告系统需求分析 告警系统配置文件 告警系统监控项目load.sh
- 【shell编程】shell中的函数、shell中的数组和告警系统需求分析
- 20.16/20.17 shell中的函数 20.18 shell中的数组20.19 告警系统需求分析
- 告警系统主脚本、告警系统配置文件、告警系统监控项目
- 十七周一次课 2018.02.09 告警系统主脚本、告警系统配置文件、告警系统监控项目
- shell中的函数、数组、告警系统分析
- 十六周四次课 2018.02.08 shell中的函数、shell中的数组、告警系统需求分析
- 第四部分shell编程5项目二分发系统
- day 75 shell项目之分发系统
- 告警系统主脚本,告警系统配置文件,告警系统监控项目