网站后台禁止搜索引擎抓取

页面的各大meta标签noindex、nofollow、noarchive及nosnippet用法索引擎更好地理解你的网站内容的种类 . 比如Yahoo!的noodp Meta标签 ,作用就是防止搜索引擎调用ODP上面的描述性语句 .
Google所支持的Meta标签也不少
,比如Google官方讲解的就有noindex、nofollow、noarchive及nosnippet . 如果你对Google的长篇大论感到厌倦
,下面的介绍你将容易理解的多：
noindex：告诉Google不要索引含此标签的网页 . 但根据实际经验 ,Google并非100%遵守 .
nofollow：告诉Google不要关注含此标签的网页里的特定链接 . 这是为了解决链接SPAM而设计的Meta标签 .
noarchive：告诉Google不要保存含此标签的网页的快照 . nosnippet：告诉Google不要在搜索结果页的列表里显示含此标签的网站的描述语句
,并且不要在列表里显示快照链接
相关用法:NOINDEX指令：表示拒绝Robot索引本页 ,但可跟踪该页上的链接;如果某个页面不想被索引
,那么添加noindex属性就可以了
Robots用来告诉搜索机器人哪些页面需要索引 ,哪些页面不需要索引 .
Content的参数有all、none、index、noindex、 follow、nofollow . 默认是all .

用法：<Meta name="Robots"
Content="All|None|Index|Noindex|Follow|Nofollow"> all：文件将被检索
,且页面上的链接可以被查询；
none：文件将不被检索 ,且页面上的链接不可以被查询；(和 "noindex, no follow" 起相同作用)
index：文件将被检索；（让robot/spider登录） ollow：页面上的链接可以被查询；NOINDEX指令：表示拒绝Robot索引本页
,但可跟踪该页上的链接;如果某个页面不想被索引 ,那么添加noindex属性就可以了.
Robots用来告诉搜索机器人哪些页面需要索引
,哪些页面不需要索引 . Content的参数有all、none、index、noindex、 follow、nofollow . 默认是all
. 用法：<Meta name="Robots"
Content="All|None|Index|Noindex|Follow|Nofollow"> all：文件将被检索 ,且页面上的链接可以被查询；
none：文件将不被检索 ,且页面上的链接不可以被查询；(和 "noindex, no follow"
起相同作用) index：文件将被检索；（让robot/spider登录） follow：页面上的链接可以被查询； noindex：文件将不被检索
,但页面上的链接可以被查询；(不让robot/spider登录)
nofollow：文件将不被检索 ,页面上的链接可以被查询 .
(不让robot/spider顺着此页的连接往下探找