1月10日开始发现手头三个排名优秀的网站,不但排名丢失,而且site结果为0,像是被百度K站了。这三个站并没做过任何违反SEO规则的操作,所以初步判断问题不是出在网站本身。
首先,初步分析共同点有:
1、采用了同一空间商的网站空间;
2、均由本人亲自制作和优化。
然后,继续收集了共21个采用该空间商的空间的网站进行分析,发现其中16个网站出现了相同情况。有以下共同点:
1、这些网站都采用同一空间商的空间,但IP段各有不同;
2、都是同一时间被百度K站(site结果为0);
3、用户能够正常访问,访问速度正常;
4、从访问日志分析,从12月28日开始到1月7日没有百度爬行。而1月8日开始爬行恢复。
经过以上4点可以判断出,肯定不是因为网站制作和优化造成的问题。基本可以确定是百度和该空间商之间的网络问题造成的。具体是百度拒绝爬行该空间商的IP段,还是空间商的防火墙屏蔽了百度蜘蛛的IP段的爬行呢?百度主动屏蔽某大型空间商的IP段的可能性不大,最大的可能性是出在空间商的防火墙端。
我分析可能是因为百度蜘蛛爬行造成主机和带宽负载过大,所以触发了空间商的防火墙的规则,而且百度蜘蛛基本都是以IP段的形式在爬行,所以空间商的防火墙自动屏蔽了百度蜘蛛的IP段。
这事件完全责怪该空间商也是不正确的,因为百度的蜘蛛程序设计上的不合理,造成大量蜘蛛同时爬行时,会占用非常巨大的带宽,对服务器性能也会造成非常大的影响。百度蜘蛛的爬行可以说是非常霸道的,有时几乎达到了DDOS攻击级别,所以会触发防火墙规则。
从日志分析,1月8日起,百度蜘蛛又能够正常爬行各网站了,说明该空间商针对百度IP蜘蛛段做了一定的调整,可能是将百度蜘蛛IP段加入到了防火墙的白名单中。
我处理过许多因为当机造成网站被百度K的情况,其实这次该空间屏蔽百度蜘蛛事件,对于站长和SEOer来说,处理方式是一样的,既然百度蜘蛛已经能够爬行网站了,那只需正常更新网站内容即可。在没有分析清楚原因之前,切勿盲目更换主机。因为该空间商是我使用过的空间中还算上乘的,而且一旦更换主机,IP的更换也可能会引起百度蜘蛛的爬行异常,甚至造成一些不可预见的情况。
所以,只需静观其变,等待快照放出,然后关注一下排名即可。
截止文章发布时,已经有多个网站site出了结果,且数量也在逐步恢复。排名也在恢复中,个别站已经恢复到原先的排位了。