再谈使用CDN技术对网站收录的影响

在谈论CDN对收录影响之前，有必要谈谈什么是CDN，估计很多人都不大明白。所谓CDN即内容分发网络（Content Delivery Network），该技术通俗点讲就是把内容分发到离用户最近的地方（当然是最容易最快速获取的地方），一般来说会涉及到内容推送、智能DNS解析、负载均衡等技术。（遗憾的是CDN早期发明者之一的Daniel C. Lewin在2001年“911”恐怖袭击中的不幸遇难）
CDN技术使得我们的网站（或者我们的业务、我们的应用）在多个用户看来好像有不同的IP地址。根据百度的说辞，百度蜘蛛就象一个普通用户一样，其实这是有偏差的，普通用户看到的和百度蜘蛛看到的是不同的，至少目前来说百度蜘蛛是看不到JS执行后的效果，也看不到FLASH渲染后的效果。百度蜘蛛使用的是域名的缓存地址，这个IP地址经测试一般有一天左右的延迟，当然可能和站点的重要性（姑且称之为权重吧）有关。因此当你刚开始使用CDN的时候，百度蜘蛛还是会去旧服务器去爬，而不会去你的CDN节点去爬，蜘蛛发现地址变化后会不适应的，先要看看是不是真的变化了，两边都要去爬爬看。确信真的是变化了，就会去新的CDN节点去爬。由于一般的用户都不会自己去建CDN网络，因此CDN节点的变动可能会影响蜘蛛的爬行，由此可能会影响站点收录。
我们在网上经常看到有人在讨论CDN技术到底会不会影响站点收录，会不会造成站点降权，大多数人的观点是否定的，而我给出的观点是肯定的，肯定会被降权。我们都知道，谁都喜欢稳定的，百度蜘蛛也不例外。当你的站点地址变化了，这对蜘蛛来讲是非常大的变化，它肯定会不适应，不适应怎么办？就是降权，等你稳定了我再来。对于大网站，权重高的站点，百度蜘蛛会认为稳定的时间会很快，一般最多一周就会恢复；而对小站，权重低的站点，百度蜘蛛会认为稳定的时间会比较长，一般需要一个月的考察期。这对于大多数中小站长来说，真的是伤不起啊。好了，大家看张图片再说。



本图片来源：http://www.playtigers.com/article/12/8711.html
那我们怎么应对由于使用CDN技术而造成百度蜘蛛对我们站点的误伤呢？很简单，我们可以使用智能DNS来对指导DNS的爬行。具体来说就是我们要准备一个永远不变地址的机器，让蜘蛛永远来爬这个机器，而不是爬那些CDN节点机器，这样就可以了。目前DNSPOD是支持的，该服务能识别哪些是蜘蛛。当然我们自己也可以在服务器上设置，不过这是大多数站长无法做到的。在此不做叙述。
提到这里了，我想再提醒大家，最近发现一个友情链接的案例。某个站点利用智能DNS，让我们普通用户看到他已经把我们的站点加入到友情链接了，但在蜘蛛看来却没有。那我们如何识别呢？很简单，你可以利用模拟蜘蛛程序（如http://tool.chinaz.com/Tools/Robot.aspx）去看看，是否有我们的链接，如果没有，很遗憾，你上当了。