robots.txt文件使用方法总结
2012-02-10 16:18
489 查看
robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。
通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。
常用方法：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。
常用方法：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- robots.txt文件配置和使用方法详解
- (摘抄)禁止搜索引擎收录的方法(robots.txt文件的使用)
- Cocos2d使用TexturePacker工具打包生成plist和pvr.ccz文件方法总结
- 简单快速PHP上传文件使用方法总结
- 使用POI生成excel文件方法总结
- 让你提前认识软件开发(18)：C语言中常用的文件操作函数总结及使用方法演示代码
- 使用 robots.txt 文件阻止或删除网页说明
- 使用POI解析excel文件方法总结
- Linux（使用了Ubuntu）和windows传输和共享文件的方法总结
- 使用python脚本过滤出服务器日志文件中所有访问过robots.txt文件的主机
- AS打包aar文件的方法及使用总结
- 使用RMAN恢复全库、表空间、数据文件的方法总结
- 使用 robots.txt 文件阻止或删除网页
- 使用最新版本的androidjunitrunner运行测试用例报：xxx/R.txt (系统找不到指定的文件。)的解决方法
- 根据txt文件处理的方法总结
- 今天使用jspsmartupload.jar实现上传文件的功能，发现中文乱码，于是总结了下解决方法
- ubuntu 12.04使用gedit打开txt文件中文乱码的处理方法
- （总结）Linux下使用rsync最快速删除海量文件的方法
- VC操作INI文件 ，INI文件操作总结，如何操作INI文件，INI文件使用方法小结