对百度新上线“网页搜索结果robots出现提示”的理解
2014-06-10 11:23
621 查看
robots.txt文件,SEOER们都知道,就是可以设置你网站的哪些内容允许蜘蛛抓取,哪些不允许蜘蛛抓取的一个文件。今日,据百度站长平台最新消息,用户在百度搜索网址或相关关键字时,网页搜索结果会出现robots提示。简单地说,如果你的网站设置了robots文件,并且是不允许蜘蛛抓取的,而这个网站对用户有是有需要的,百度就是根据你输入的网址或相关关键字展示这个网站,不过,这和其它网站不一样,搜索的结果只出现title中的部分关键字,并且不会出现这个网站的元标签描述部分。对应的元标签描述部分将由最新上线的robots提示代替,比如,用户在搜索淘宝网时,出现“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述 - 了解详情”字样。
百度这一动作,意味着什么,笔者就个人看法谈谈百度些次网页搜索结果robots出现提示的意义及特点。 对搜索结果出现robots提示的理解 前面和大家说到,如果你的网站设置了robots文件,而且是禁止百度蜘蛛抓取的,但是你的网站又是百度需要的,用户在搜索该网址或网站名称时,就会出现robots提示。百度官方在提高,百度蜘蛛会根据robots协议来是否抓取,并呈现结果在搜索结果中。从中我们看到,个人认为百度是爬行了这网站,只不过是没去收录并呈现在搜索结果中而已,不过,笔者也测试了一个网站,如果百度蜘蛛没去爬行,就算你的网站写了robots文件,并且是禁止百度蜘蛛抓取的,搜索结果还是不会出现robots提示的,也许是百度认为这网址不是用户有需要的吧。不过,还真不知道蜘蛛是如何确定一个网站是否是用户需要的,个人感觉,一个网站如果禁止百度蜘蛛抓取,如果搜索结果中要出现robots提示,那么这个网站一定是蜘蛛爬行过的,并且是对用户有用的。
搜索结果出现robots提示是为提升用户体验 像淘宝这样的大网站,知名度那么高,虽然很多用户在访问淘宝网时不会出现去百度搜索,而是直接访问淘宝网,不过,如果用户在百度搜索结果中出现找不到结果,明显是对用户体验不好的,百度这一举动,可以说是在不断地提高用户体验。前些天笔者在用google的时候就发现了这一功能,明显,google比百度这在方面做得更好,因为笔者一个网站在改版时,设置了robots文件禁止google robot抓取,所以返回的结果就像百度网页搜索结果一下,出现了robots提示。
百度这一动作,意味着什么,笔者就个人看法谈谈百度些次网页搜索结果robots出现提示的意义及特点。 对搜索结果出现robots提示的理解 前面和大家说到,如果你的网站设置了robots文件,而且是禁止百度蜘蛛抓取的,但是你的网站又是百度需要的,用户在搜索该网址或网站名称时,就会出现robots提示。百度官方在提高,百度蜘蛛会根据robots协议来是否抓取,并呈现结果在搜索结果中。从中我们看到,个人认为百度是爬行了这网站,只不过是没去收录并呈现在搜索结果中而已,不过,笔者也测试了一个网站,如果百度蜘蛛没去爬行,就算你的网站写了robots文件,并且是禁止百度蜘蛛抓取的,搜索结果还是不会出现robots提示的,也许是百度认为这网址不是用户有需要的吧。不过,还真不知道蜘蛛是如何确定一个网站是否是用户需要的,个人感觉,一个网站如果禁止百度蜘蛛抓取,如果搜索结果中要出现robots提示,那么这个网站一定是蜘蛛爬行过的,并且是对用户有用的。
搜索结果出现robots提示是为提升用户体验 像淘宝这样的大网站,知名度那么高,虽然很多用户在访问淘宝网时不会出现去百度搜索,而是直接访问淘宝网,不过,如果用户在百度搜索结果中出现找不到结果,明显是对用户体验不好的,百度这一举动,可以说是在不断地提高用户体验。前些天笔者在用google的时候就发现了这一功能,明显,google比百度这在方面做得更好,因为笔者一个网站在改版时,设置了robots文件禁止google robot抓取,所以返回的结果就像百度网页搜索结果一下,出现了robots提示。
相关文章推荐
- 在网页中放入百度、搜狗、搜搜 搜索代码搜索出现乱码解决办法
- 百度搜索结果页面的参数 相关提示位置(rsp)
- QT中实现类似网页搜索的自动出现下拉提示
- python3爬取百度搜索结果url,获得真实url,提取网页正文并分词,多进程的使用
- 根据查询的关键字,实现获取百度指定页数的搜索结果的信息(网页地址,标题,摘要,并有排序的说明)
- robots.txt里禁止的页面出现在搜索结果中
- jquery自动填充input框(如百度搜索一样,出现模糊提示)
- 如何才能在百度搜索结果中出现图片
- 百度成立安全联盟 搜索结果加入风险提示
- 搜狗搜索结果安全风险提示上线
- 百度搜索结果页面的参数 提示词输入搜索框方式(rsv_sug5)
- 浏览器点击百度搜索结果之后,原搜索页面出现重定向乱码不断刷新问题的分析和解决
- 百度加强搜索结果摘要:增加页内命名锚链接直接指向网页段落
- 模仿360:百度搜索结果上线ICP备案信息展示
- 百度搜索结果页面的参数 搜索框提示词搜索方式(rsv_sug2)
- 百度搜索结果的URL参数 搜索框提示词搜索方式(rsv_sug2)
- 八爪鱼网页信息采集: 百度搜索结果
- 百度搜索结果出现公司地址、电话等信息
- 百度搜索结果页出现“原创”内容提示
- 百度搜索结果的URL参数 提示词输入搜索框方式(rsv_sug5)