robot.txt 文件 作用和语法
2016-03-31 10:35
369 查看
seo工作者应该不陌生,robots.txt文件是每一个搜索引擎蜘蛛到你的网站之后要寻找和访问的第一个文件,robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过该文件,搜索引擎就可以知道在你的网站中哪些文件是可以被索引的,哪些文件是被拒绝索引的,我们就可以很方便地控制搜索索引网站内容了。
robots.txt文件的作用:
1、屏蔽网站内的死链接。2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。3、阻止搜索引擎索引网站隐私性的内容。
因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。
robots.txt文件需要注意的最大问题是:必须放置在一个站点的根目录下,而且文件名必须全部小写。
robots.txt文件的基本语法只有两条,第一条是:User-agent,即搜索引擎蜘蛛的名称;第二条是:Disallow,即要拦截的部分。
下面我们看一下撰写基本的robots.txt文件所需要知道的一些语法和作用。
(1),允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档,命名为robots.txt。
User-agent:*
Disallow:
或者
User-agent:*
Allow:/
(2),禁止所有搜索引擎访问网站的所有部分。
User-agent:*
Disallow:/
(3),禁止百度索引你的网站。
User-agent:Baiduspider
Disallow:/
(4),禁止Google索引你的网站。
User-agent:Googlebot
Disallow:/
(5),禁止除百度以外的一切搜索引擎索引你的网站。
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/
(6),禁止除Google以外的一切搜索引擎索引你的网站。
User-agent:Googlebot
Disallow:
User-agent:*
Disallow:/
(7),禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。
User-agent:*
Disallow:/admin/
Allow:/images/
(8),禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。
User-agent:*
Disallow:/admin/*.php$
Allow:/admin/*.asp$
(9),禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。
User-agent:*
Disallow:/*?*
robots.txt文件的作用:
1、屏蔽网站内的死链接。2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。3、阻止搜索引擎索引网站隐私性的内容。
因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。
robots.txt文件需要注意的最大问题是:必须放置在一个站点的根目录下,而且文件名必须全部小写。
robots.txt文件的基本语法只有两条,第一条是:User-agent,即搜索引擎蜘蛛的名称;第二条是:Disallow,即要拦截的部分。
下面我们看一下撰写基本的robots.txt文件所需要知道的一些语法和作用。
(1),允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档,命名为robots.txt。
User-agent:*
Disallow:
或者
User-agent:*
Allow:/
(2),禁止所有搜索引擎访问网站的所有部分。
User-agent:*
Disallow:/
(3),禁止百度索引你的网站。
User-agent:Baiduspider
Disallow:/
(4),禁止Google索引你的网站。
User-agent:Googlebot
Disallow:/
(5),禁止除百度以外的一切搜索引擎索引你的网站。
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/
(6),禁止除Google以外的一切搜索引擎索引你的网站。
User-agent:Googlebot
Disallow:
User-agent:*
Disallow:/
(7),禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。
User-agent:*
Disallow:/admin/
Allow:/images/
(8),禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。
User-agent:*
Disallow:/admin/*.php$
Allow:/admin/*.asp$
(9),禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。
User-agent:*
Disallow:/*?*
相关文章推荐
- iOS- Size Class使用教程
- JVM 重排序
- linux命令(8)kill命令
- C#中如何获取上个月第一天和最后一天
- ASP读取文件 ASP写入/保存文件
- 设计模式-建造者模式
- 你是不也在愁没数据?来看看Open Data吧!
- IO读取
- Block - 7
- Android 手机获取测试
- Odoo8模块中增加延时自动消失的提示
- Linux下面安装Mysql说明
- 从svn上更新下来的代码报错
- iOS - UITextField输入错误的震动动画
- html中offsetTop、clientTop、scrollTop、offsetTop各属性介绍
- 使用Aspose.Pdf将MemoryStream转换为PDF
- C# string类型(引用类型)
- cocos2dx 3.3 + lua 学习笔记(01)--- math库
- 200个好玩html5游戏源码(捕鱼达人,植物大战僵尸,超级玛丽,五子棋,象棋,切水果.....)
- php array_mutisort