Nginx日志实现访问异常报警详解
2017-03-04 10:45
711 查看
前言
在工作中为了防止一些恶意访问的行为,例如不断的请求刷流量,通过实时过滤Nginx访问日志,将单位时间内访问次数达到指定阀值的来源ip及时的通知系统管理员,这里通过邮件的方式通知。
监控脚本
vim /opt/nginx/sbin/nginx_log_monitor.sh
#!/bin/bash #日志文件 logfile=/opt/nginx/logs/www #开始时间 start_time=`date -d"$last_minutes minutes ago" +"%H:%M:%S"` #结束时间 stop_time=`date +"%H:%M:%S"` #过滤出单位之间内的日志并统计最高ip数 tac $logfile/access.log | awk -v st="$start_time" -v et="$stop_time" '{t=substr($4,RSTART+14,21);if(t>=st && t<=et) {print $0}}' \ | awk '{print $1}' | sort | uniq -c | sort -nr > $logfile/log_ip_top10 ip_top=`cat $logfile/log_ip_top10 | head -1 | awk '{print $1}'` # 单位时间[1分钟]内单ip访问次数超过200次,则触发邮件报警 if [[ $ip_top -gt 200 ]];then /usr/bin/python /opt/tools/send_mail.py & fi
chmod +x /opt/nginx/sbin/nginx_log_monitor.sh
定时任务
如上脚本监控一分钟内的日志,因此每分钟执行一次:
# crontab -e */1 * * * * /bin/bash /opt/nginx/sbin/nginx_log_monitor.sh
邮件告警
这里通过python实现发送邮件
# vim /opt/tools/send_mail.py
# -*- coding: utf-8 -*- from email import encoders from email.header import Header from email.mime.text import MIMEText from email.utils import parseaddr, formataddr from email.mime.multipart import MIMEMultipart from email.mime.base import MIMEBase from datetime import datetime import os import smtplib def _format_addr(s): name, addr = parseaddr(s) return formataddr((Header(name, 'utf-8').encode(), addr)) # 邮箱定义 smtp_server = 'smtp.exmail.qq.com' smtp_port = 465 from_addr = 'chenqingkang@qiniu.com' password = os.environ.get('MAIL_PASSWD') to_addr = ['810959120@qq.com'] # 邮件对象 msg = MIMEMultipart() msg['From'] = _format_addr('发件人 <%s>' % from_addr) msg['To'] = _format_addr('收件人 <%s>' % to_addr) msg['Subject'] = Header('Warning:单ip请求次数异常', 'utf-8').encode() # 获取系统中要发送的文本内容 with open('/opt/nginx/logs/log_ip_top10', 'r') as f: line = f.readline().strip() line = line.split(" ") print(line) # 邮件正文是MIMEText: html = '<html><body><h2>一分钟内单ip请求次数超过阀值</h2>' + \ '<p>ip:%s 请求次数/min:%s</p>' % (line[1],line[0]) + \ '</body></html>' msg.attach(MIMEText(html, 'html', 'utf-8')) server = smtplib.SMTP_SSL(smtp_server, smtp_port) server.login(from_addr, password) server.sendmail(from_addr, to_addr, msg.as_string()) server.quit()
示例
写个脚本不停curl请求资源触发报警:
# vim curl.sh
#!/bin/bash #example:curl.sh http://www.qingkang.me 100 usage() { echo "usage: `basename $0` url count" } if [ $# -ne 2 ]; then usage exit 1 fi for i in `seq 1 $2`;do http_code=`curl -o /dev/null -s -w %{http_code} $1` echo $1 $http_code done
# bash curl.sh http://qingkang.me/ 5 http://qingkang.me/ 200 http://qingkang.me/ 200 http://qingkang.me/ 200 http://qingkang.me/ 200 http://qingkang.me/ 200
调低阀值触发告警:
一分钟内单ip请求次数超过阀值 ip:115.231.182.82 请求次数/min:27
完善
这里仅实现了邮件告警功能,实际上还可以实现自动屏蔽恶意访问的ip。可以通过Nginx deny来实现,也可以iptables -I INPUT -s x.x.x.x -j DROP通过iptables屏蔽。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家能有一定的帮助,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。
您可能感兴趣的文章:
相关文章推荐
- Nginx实现浏览器可实时查看访问日志的步骤详解
- Nginx实现浏览器可实时查看访问日志的步骤详解
- Nginx访问日志(access_log)配置及信息详解
- 利用nginx访问日志如何记录mysql中的用户id详解
- Nginx访问日志(access_log)配置及信息详解
- 通过统计nginx访问日志禁止恶意抓取数据的实现
- 详解实现Nginx+Tomcat实现单IP、多域名、多站点的访问
- 详解Nginx配置SSL证书实现Https访问
- Nginx实现浏览器实时查看访问日志
- 老男孩教育每日一题-第80天-如何实现 Nginx 代理的节点访问日志记录客户的 IP 而不是代理的 IP?
- 如何实现 Nginx 代理的节点访问日志记录客户的 IP 而不是代理的 IP?
- Spring 实现远程访问详解——HttpClient
- 利用 Nginx 负载均衡实现 Web 服务器更新不影响访问
- 搭建Zabbix监控系统服务以及实现邮件报警功能配置详解
- nginx自动切割访问日志
- nginx前端,tomcat后端服务器获取客户的真实IP,包括tomcat访问日志获取真实IP的配置
- nginx实现tomcat动静分离详解
- .net实现程序异常写入应用程序的事件日志
- 利用Spring AOP实现业务和异常日志记录
- elkstack实战---集中管理nginx访问日志及报表展示