nginx 日志过滤网络爬虫
2014-03-15 22:11
197 查看
分析nginx日志的时候,比较头疼的是有许多蜘蛛爬虫的痕迹。
鉴于多数蜘蛛爬虫都是叫xx-bot或者xx-spider,下面的方法可以给爬虫单独写日志:
location / { if ($http_user_agent ~* "bot|spider") { access_log /var/log/nginx/spider.access.log; } }
或者干脆不写日志
location / { if ($http_user_agent ~* "bot|spider") { access_log off; } }
相关文章推荐
- nginx 日志过滤网络爬虫
- nginx 日志过滤网络爬虫
- nginx 日志过滤网络爬虫访问日志
- 使用 Nginx 过滤网络爬虫
- 使用Nginx过滤网络爬虫
- 过滤nginx日志并添加防火墙拒绝访问 centos7
- 网络爬虫项目开发日志(二):爬虫架构设计
- 【日志过滤】Nginx日志过滤 使用ngx_log_if不记录特定日志
- Centos-Server-Nginx之禁止网络爬虫
- 网络爬虫项目开发日志(七): 基于MD5去重树的爬虫设计与优化
- 解析Nginx中的日志模块及日志基本的初始化和过滤配置
- nginx日志过滤php脚本
- Nginx日志过滤 使用ngx_log_if不记录特定日志
- Nginx日志过滤使用ngx_log_if不记录特定日志
- 用AWK来过滤nginx日志中的特定值~~~
- Nginx日志过滤 使用ngx_log_if不记录特定日志
- 每日nginx的日志切分及爬虫分析
- 通过分析nginx的日志来过滤出访问过于频繁的IP地址,然后添加到nginx的blockip.conf,并重启nginx
- 网络爬虫项目开发日志(一):关于爬虫项目所涉及的领域知识
- Centos-Server-Nginx之禁止网络爬虫