如何禁止同IP站点查询和同IP站点查询的原理分析 Robots.txt屏蔽BINGBOT
2015-03-24 20:41
405 查看
很多站长工具中都有“同IP站点查询”、“IP反查域名”这种服务不少人都不知道是什么原理,其实这些服务几乎都是用BING(以前的LIVE)来实现 的,BING有个特别功能 BING抓取页面时会把站点的IP也记录下来,用户可以搜索指定IP下的结果 同IP站点查询就是利用这个实现的,如http://cn.bing.com/search?q=ip:220.181.29.42,这个功能很有用 但很多站长工具都会把结果提交到搜索引擎比较讨厌,如果不希望自己的网站出现在结果中 可以用ROBOTS.TXT拒绝BINGBOT抓取,但已抓取的结果仍然会显示出来,只能等半年后抓取结果过期删除,才能从BING的搜索结果中消失。
========================================
Robots.txt生成器
http://tool.chinaz.com/robots/
========================================
User-agent: MSNBot
Disallow: /
User-agent: *
Disallow:
Disallow: /bin/
Sitemap: http://domain.com/sitemap.xml
========================================
Robots.txt生成器
http://tool.chinaz.com/robots/
========================================
User-agent: MSNBot
Disallow: /
User-agent: *
Disallow:
Disallow: /bin/
Sitemap: http://domain.com/sitemap.xml
相关文章推荐
- Linux 如何设置只允许域名访问站点而禁止IP访问站点
- 如何禁止/屏蔽docmd.runsql执行查询时的提示?
- robots.txt 如何屏蔽网站动态url
- 如何设置让网站禁止被爬虫收录?robots.txt
- 如何使用robots.txt
- 如何写robots.txt?
- 为什么及如何建立一个Robots.txt文件?
- Hibernate实现分页查询的原理分析
- IronPython for ASP.NET 的原理分析(一):如何在 CLR 类型上实现动态性
- .Net中如何操作IIS的原理分析
- 如何写robots.txt?
- 如何写robots.txt?
- 如何写robots.txt?
- QQwry.dat格式分析和查询IP位置的PHP程序
- 请教Ado.Net按文本读取CSV/Txt文件时,如何禁止将内容转换成数字
- .Net中如何操作IIS的原理分析
- [转]如何使用robots.txt FROM 谷歌黑板报
- (摘抄)禁止搜索引擎收录的方法(robots.txt文件的使用)
- Hibernate实现分页查询的原理分析
- 禁止IE弹出网页和屏蔽网页原理