使用kibana制作每段时间内IP请求直方图
2016-06-03 00:00
856 查看
摘要: 查询nginx的请求活跃客户端ip,查询nginx活跃用户分布情况
使用以下方法制作直方图,可以发现可疑的爬虫
1) 观察nginx活跃的链接用户,如果持续时间较长,可能为爬虫或者外挂.
2) 观察nginx具体某个uri请求,在一段时间内ip的分布情况.比如登陆,或者搜索,或者查看商品详情
3) 持续观察nginx日志请求总数,发现可疑ip,可能为爬虫,
使用kibana挖掘出可疑爬虫.
![](http://static.oschina.net/uploads/space/2016/0603/095330_BwTt_1538135.png)
针对柱状图里面的ip进行行为分析,发现占比最高的6个IP是抓取数据的,
可以封ip,或者使用waf策略限制请求次数,避免对服务器性能有影响.
使用以下方法制作直方图,可以发现可疑的爬虫
1) 观察nginx活跃的链接用户,如果持续时间较长,可能为爬虫或者外挂.
2) 观察nginx具体某个uri请求,在一段时间内ip的分布情况.比如登陆,或者搜索,或者查看商品详情
3) 持续观察nginx日志请求总数,发现可疑ip,可能为爬虫,
使用kibana挖掘出可疑爬虫.
![](http://static.oschina.net/uploads/space/2016/0603/095330_BwTt_1538135.png)
针对柱状图里面的ip进行行为分析,发现占比最高的6个IP是抓取数据的,
可以封ip,或者使用waf策略限制请求次数,避免对服务器性能有影响.
相关文章推荐
- nginx日志统计
- MAC OSX安装Nginx
- nginx配合rtmp模块搭建流服务器
- 在nginx和fastdfs配合使用
- Centos6.5 安装Nginx
- Nginx server之Nginx添加ssl支持
- 给Nginx配置一个自签名的SSL证书
- nginx配置文件详解
- ajax跨域访问4解
- Nginx访问量统计
- 解决Nginx不支持pathinfo的问题
- mac 安装 nginx 环境
- Nginx相关指令及配置
- nginx 安装、配置及优化讲解
- Nginx ----- Windows下Nginx的安装与部署
- nginx的重启遇到的问题及解决方法
- nginx配置和自己理解
- ubuntu下fastdfs及nginx配置自启动
- Nginx - 配置
- Nginx: error while loading shared libraries: libpcre.so.1解决