如何使用robots语法禁止搜索引擎蜘蛛抓取图片
2012-06-28 22:40
323 查看
由于大量图片会增加服务器大大增加带宽，一些主机是有限制月流量的，所以为了控制可以使用以下方法解决：（当然带宽无限大，不建议这样做，必竟对SEO有影响）
打开robots.txt文件，添加以下代码：
User-agent: Baiduspider Disallow: /*.jpg$ Disallow: /*.jpeg$ Disallow: /*.gif$ Disallow: /*.png$ Disallow: /*.bmp$ 如果想进一步了解ROBOTS文件的用法可以参见：13个robots文件常见用法说明表（http://www.dosxp.com/seo/4357.html）。
文章来自全球站长之家（www.dosxp.com）：http://www.dosxp.com/seo/4354.html
打开robots.txt文件，添加以下代码：
User-agent: Baiduspider Disallow: /*.jpg$ Disallow: /*.jpeg$ Disallow: /*.gif$ Disallow: /*.png$ Disallow: /*.bmp$ 如果想进一步了解ROBOTS文件的用法可以参见：13个robots文件常见用法说明表（http://www.dosxp.com/seo/4357.html）。
文章来自全球站长之家（www.dosxp.com）：http://www.dosxp.com/seo/4354.html
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 如何使用Windbg自动抓取禁止使用调试器程序的dump
- [HTML] 如何使用robots.txt防止搜索引擎抓取页面
- 如何禁止搜索引擎爬虫（Spider）抓取网站页面
- 如何使用robots.txt防止搜索引擎抓取页面
- 蜘蛛爬虫网络高像素图片抓取工具[搜索引擎]
- 蜘蛛爬虫网络高像素图片抓取工具[搜索引擎]
- 如何使用Windbg自动抓取禁止使用调试器程序的dump
- 如何使用页面来抓取摄像头图片实现拍照
- 使用Net.Sockets.TcpListener和Net.Sockets.TcpClient进行图片传输时如何精确控制接收缓存数组大小
- Aforge视频采集,抓取图片,录制视频,WPF下使用Image控件显示视频
- 网页图片格式PNG,JPG,GIF如何选择使用
- 如何使用在线ps的污点修复画笔工具编辑图片
- 如何使用DW工具给图片添加热点
- 使用Python3编写抓取网页和只抓网页图片的脚本
- 如何在报表中直接使用数据库中存储的图片
- 如何在cocos creator web项目中使用跨域图片
- 如何取消IE里的缓存图片的问题asp.net（如何禁止图片缓存）转载没有用的人真讨厌
- 如何熟练使用ps裁剪工具裁切出一张好的图片
- 如何使用monitor(DDMS)抓取traceview文件
- 百度禁止网站使用QQ、手机抓取工具