谷歌针对智能手机推出的新型Googlebot
2014-02-23 10:52
639 查看
来自谷歌博客消息:原来谷歌抓取移动设备的蜘蛛统称为Googlebot移动版,谷歌分析称受此项更新影响的网址不到0.001%,而此项更新可让站长更好地控制对其内容的抓取和编入索引操作。
由于功能手机和智能手机的功能存在很大差异,站长一旦屏蔽了Googlebot那么移动版的则全部屏蔽。而这次谷歌称:谷歌将针对智能手机的新型Googlebot用户代理。
这个蜘蛛大概是未来3、4周后开始工作,且不再将针对智能手机的“Googlebot-Mobile”用作用户代理。之后,针对智能手机的用户代理将直接使用“Googlebot”进行标识。这样即使屏蔽了功能手机的收录,但针对智能手机的优化不会有影响。
针对智能手机的新型Googlebot用户代理:
Mozilla/5.0(iPhone;CPUiPhoneOS6_0likeMacOSX)AppleWebKit/536.26(KHTML,likeGecko)Version/6.0Mobile/10A5376eSafari/8536.25(compatible;Googlebot/2.1;+http://www.google.com/bot.html)
针对智能手机的Googlebot-Mobile用户代理(即将停止使用):
Mozilla/5.0(iPhone;CPUiPhoneOS6_0likeMacOSX)AppleWebKit/536.26(KHTML,likeGecko)Version/6.0Mobile/10A5376eSafari/8536.25(compatible;Googlebot-Mobile/2.1;+http://www.google.com/bot.html)
请注意此项用户代理更新带来的以下重大影响:针对智能手机的新型Googlebot抓取工具将遵从Googlebot(而非Googlebot-Mobile)的robots.txt指令、robots元标记指令和HTTPheader指令。例如,使用新型抓取工具后,以下robots.txt指令将屏蔽针对智能手机的新型Googlebot用户代理以及常规Googlebot执行的所有抓取操作:
User-agent:Googlebot
Disallow:/
以下robots.txt指令将屏蔽Google的功能手机抓取工具执行的抓取操作:
User-agent:Googlebot-Mobile
Disallow:/
由于功能手机和智能手机的功能存在很大差异,站长一旦屏蔽了Googlebot那么移动版的则全部屏蔽。而这次谷歌称:谷歌将针对智能手机的新型Googlebot用户代理。
这个蜘蛛大概是未来3、4周后开始工作,且不再将针对智能手机的“Googlebot-Mobile”用作用户代理。之后,针对智能手机的用户代理将直接使用“Googlebot”进行标识。这样即使屏蔽了功能手机的收录,但针对智能手机的优化不会有影响。
针对智能手机的新型Googlebot用户代理:
Mozilla/5.0(iPhone;CPUiPhoneOS6_0likeMacOSX)AppleWebKit/536.26(KHTML,likeGecko)Version/6.0Mobile/10A5376eSafari/8536.25(compatible;Googlebot/2.1;+http://www.google.com/bot.html)
针对智能手机的Googlebot-Mobile用户代理(即将停止使用):
Mozilla/5.0(iPhone;CPUiPhoneOS6_0likeMacOSX)AppleWebKit/536.26(KHTML,likeGecko)Version/6.0Mobile/10A5376eSafari/8536.25(compatible;Googlebot-Mobile/2.1;+http://www.google.com/bot.html)
请注意此项用户代理更新带来的以下重大影响:针对智能手机的新型Googlebot抓取工具将遵从Googlebot(而非Googlebot-Mobile)的robots.txt指令、robots元标记指令和HTTPheader指令。例如,使用新型抓取工具后,以下robots.txt指令将屏蔽针对智能手机的新型Googlebot用户代理以及常规Googlebot执行的所有抓取操作:
User-agent:Googlebot
Disallow:/
以下robots.txt指令将屏蔽Google的功能手机抓取工具执行的抓取操作:
User-agent:Googlebot-Mobile
Disallow:/
相关文章推荐
- 谷歌:给针对智能手机进行优化的网站的一些建议
- IBM首次推出移动安全服务,主要针对在企业中使用的智能手机和平板电脑
- 谷歌vs三星大战将导致智能手机市场洗牌
- 微软否认将推出智能手机 寄希望于合作伙伴
- 看看谷歌Nexus智能手机
- 谷歌与3D Systems合作为模块智能手机开发高速3D打印机
- 谷歌Project Ara,将开启下一个智能手机时代
- 论文|谷歌推出最新“手机版”视觉应用的卷积神经网络—MobileNets
- 亚马逊智能手机目标是以3D技术抗衡苹果和谷歌
- 诺基亚首款Windows Phone智能手机将在年内推出
- 谷歌将推出智能电视Android TV
- HTC与新浪推出新浪微博智能手机HTC微客
- 华为正争取SIRIN OS许可推出区块链智能手机
- 谷歌将推出智能电视Android TV
- 华为推谷歌系统智能手机火拼微软三星
- 谷歌推出手机语音服务 微软又要擦汗了
- 谷歌推出 Files Go,帮用户管理手机文档,让你的手机更加流畅
- 谷歌发布智能手机NexusOne iPhone终遇对手
- 索爱针对Android平台推出WebSDK, 主要是为其Android手机开发应用。