wordpress中如何正确书写robots.txt
2017-05-07 18:26
381 查看
首先我们来查看一个朋友的robots.txt,显然他的是不曾修改的,用的还是Wordpress默认的。
![](https://img-blog.csdn.net/20170507182504539?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvTElVX1lBTlpIQU8=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
这种缺陷是巨大的,因为没有屏蔽/wp-content/和/wp-includes/等诸多文件,假以时日,会有很多后台文件都被收录的,像这样
![](https://img-blog.csdn.net/20170507182521054?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvTElVX1lBTlpIQU8=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
所以我们需要更加完整的robots.txt内容,防止百度蜘蛛乱抓取收录。下面我们欣赏两个网友的robots.txt,大家都可以参考。
其一
其二
我们都可以作为参考,大家可以根据上面的删除不要的,然后上传到网站根目录,然后去百度站长平台,进行检测,如下图,js文件百度蜘蛛将不再抓取
![](https://img-blog.csdn.net/20170507182603461?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvTElVX1lBTlpIQU8=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
更多文章:http://liuyanzhao.com/2207.html
本文地址:http://liuyanzhao.com/3275.html
转载请注明
这种缺陷是巨大的,因为没有屏蔽/wp-content/和/wp-includes/等诸多文件,假以时日,会有很多后台文件都被收录的,像这样
所以我们需要更加完整的robots.txt内容,防止百度蜘蛛乱抓取收录。下面我们欣赏两个网友的robots.txt,大家都可以参考。
其一
User-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /*/comment-page-* Disallow: /*?replytocom=* Disallow: /category/*/page/ Disallow: /tag/*/page/ Disallow: /*/trackback Disallow: /feed Disallow: /*/feed Disallow: /comments/feed Disallow: /?s=* Disallow: /*/?s=*\ Disallow: /*?* Disallow: /attachment/
其二
User-agent: * Disallow: /wp-* Disallow: /qiuye-* Disallow: /*replytocom= Disallow: /*?iapolo_co* Disallow: /page/*?iapolo_co* Disallow: /page/?iapolo_co* Disallow: /?iapolo_co* Disallow: /?ad=da Disallow: /?iapolo.com Disallow: /daohang/ Disallow: /wp-login.php?* Disallow: /?_=* Disallow: /?p=* Disallow: /api/* Disallow: /*.js$ Disallow: /*.css$ Disallow: /*.eot$ Disallow: /*.svg$ Disallow: /*.ttf$ Disallow: /*.woff$ Disallow: /*.json$ Disallow: /page/1 Disallow: /shuoshuo/ Disallow: /jiayi
我们都可以作为参考,大家可以根据上面的删除不要的,然后上传到网站根目录,然后去百度站长平台,进行检测,如下图,js文件百度蜘蛛将不再抓取
更多文章:http://liuyanzhao.com/2207.html
本文地址:http://liuyanzhao.com/3275.html
转载请注明
相关文章推荐
- Wordpress如何正确书写Robots.txt
- 如何正确配置网站的robots.txt(转帖)
- robots.txt的作用是?如何正确的写robots.txt?
- 关于robots.txt的书写
- 如何写robots.txt?
- 如何写robots.txt?
- 如何写网站的robots.txt和meta name robots的配置
- 为什么及如何建立一个Robots.txt文件?
- 如何写robots.txt?
- 如何使用robots.txt及其详解
- 如何写 robots.txt
- 如何写robots.txt
- 如何写robots.txt?
- 如何使用robots.txt
- 如何使用robots.txt
- Wordpress博客robots.txt写法
- robots.txt如何写?
- [转]如何使用robots.txt FROM 谷歌黑板报
- 正确配置Robots.txt
- 如何写ROBOTS.TXT?