利用nginx来屏蔽指定的user_agent的访问
2016-12-07 16:19
429 查看
对于做国内站的我来说,我不希望国外蜘蛛来访问我的网站,特别是个别垃圾蜘蛛,它们访问特别频繁。这些垃圾流量多了之后,严重浪费服务器的带宽和资源。通过判断user agent,在nginx中禁用这些蜘蛛可以节省一些流量,也可以防止一些恶意的访问。
1、进入nginx的配置目录,例如cd /usr/local/nginx/conf
2、添加agent_deny.conf配置文件
vim agent_deny.conf
加入以下
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
return 403;
}
#禁止指定UA及UA为空的访问
if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|^$" )
{
return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}
还有加一些针对特殊的user_agent的访问
if ($http_user_agent ~ "Mozilla/4.0\ compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727") { return 404; }
这个是如何得出是频繁访问的user_agent呢,通过分析nginx的日志可以得出
tail -n 1000 /usr/local/nginx/logs/access.log | awk -F\" '{A[$(NF-1)]++}END{for(k in A)print A[k],k}' | sort -n | tail 分析访问次数
执行以上命令可以得出访问最多的user_agent,通过人为判断是否正常来屏蔽
然后在nginx.conf的location中加入include
agent_deny.conf;
平滑重启nginx
/usr/local/nginx/sbin/nginx
–s reload
然后测试一下
设置是否成功
到这里,nginx通过判断User-Agent屏蔽蜘蛛访问网站就已经完成,可以根据实际情况对agent_deny.conf中的蜘蛛进行增加、删除或者修改。
1、进入nginx的配置目录,例如cd /usr/local/nginx/conf
2、添加agent_deny.conf配置文件
vim agent_deny.conf
加入以下
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
return 403;
}
#禁止指定UA及UA为空的访问
if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|^$" )
{
return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}
还有加一些针对特殊的user_agent的访问
if ($http_user_agent ~ "Mozilla/4.0\ compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727") { return 404; }
这个是如何得出是频繁访问的user_agent呢,通过分析nginx的日志可以得出
tail -n 1000 /usr/local/nginx/logs/access.log | awk -F\" '{A[$(NF-1)]++}END{for(k in A)print A[k],k}' | sort -n | tail 分析访问次数
执行以上命令可以得出访问最多的user_agent,通过人为判断是否正常来屏蔽
然后在nginx.conf的location中加入include
agent_deny.conf;
平滑重启nginx
/usr/local/nginx/sbin/nginx
–s reload
然后测试一下
设置是否成功
curl -I -A "BaiduSpider" www.test.com
HTTP/1.1 200 OK Server: nginx Date: Mon, 09 Feb 2015 03:37:20 GMT Content-Type: text/html; charset=UTF-8 Connection: keep-alive Vary: Accept-Encoding X-Powered-By: PHP/5.5.19 Vary: Accept-Encoding, Cookie Cache-Control: max-age=3, must-revalidate WP-Super-Cache: Served supercache file from PHP
curl -I -A "JikeSpider" www.test.com
HTTP/1.1 403 Forbidden Server: nginx Date: Mon, 09 Feb 2015 03:37:44 GMT Content-Type: text/html Content-Length: 162 Connection: keep-alive
到这里,nginx通过判断User-Agent屏蔽蜘蛛访问网站就已经完成,可以根据实际情况对agent_deny.conf中的蜘蛛进行增加、删除或者修改。
相关文章推荐
- 利用nginx来屏蔽指定的user_agent的访问
- 利用nginx来屏蔽指定的user_agent的访问以及根据user_agent做跳转
- Nginx 访问控制&屏蔽指定 user_agent
- nginx防盗链+访问控制+限制指定目录运行php+解析支持php+现在user_agent
- Nginx屏蔽个别User-Agent蜘蛛访问网站的方法
- Nginx屏蔽个别User-Agent蜘蛛访问网站的方法
- Nginx屏蔽个别User-Agent蜘蛛访问网站的方法
- nginx禁止指定user_agent
- 2.4-nginx禁止指定user_agent
- LAMP搭建15:Apache禁止指定user_agent访问
- PHP屏蔽蜘蛛访问代码及常用搜索引擎的HTTP_USER_AGENT
- apache学习笔记(访问控制|禁止解析|禁止指定user_agent)
- Nginx配置——禁止指定user_agent
- LNMP - Nginx禁止指定user_agent
- nginx通过user-agent判断蜘蛛,跳转到指定后端服务器…
- 使用 Nginx 内置 $http_user_agent 来区分( 电脑 pc、手机 mobile、平板 pad )端的内容访问
- apache‘禁止指定user_agent’ 和 ‘禁止用户通过浏览器访问某个目录’
- nginx禁止指定user_agent
- Apache禁止指定的user_agent、指定目录被访问
- 使用cat,awk和sort命令从nginx访问日志中统计user-agent类型