13046685510

　　百度和谷歌等搜索引擎抓取网页都是通过一种被称作蜘蛛的程序，英文写作spider。

　　互联网就像一张蜘蛛网，通过链接将大大小小的网站链接在一起，搜索引擎爬行整个互联网，所以将搜索引擎的爬行程序称为蜘蛛。但蜘蛛还分为很多种，不同的蜘蛛爬行的内容也不同。 

百度蜘蛛分类

百度网页搜索：Baiduspider

百度无线搜索：Baiduspider-mobile

百度图片搜索：Baiduspider-image

百度视频搜索：Baiduspider-video

百度新闻搜索：Baiduspider-news

百度搜藏：Baiduspider-favo

百度联盟：Baiduspider-cpro

谷歌蜘蛛分类

谷歌网页搜索：Googlebot

谷歌手机搜索：Googlebot-Mobile

谷歌图片搜索：Googlebot-Image

Adsense分析：Mediapartners-Google

AdWords提供参考：Adsbot-Google

怎么知道什么时候什么蜘蛛抓取了哪个页面呢？

　　通过服务器访问日志，也就是Access log，然后放入日志分析工具中分析，或者使用Excel表格汇总一下，就能看了。

　　部分空间商不提供访问日志，则可以通过程序实现对蜘蛛爬行的记录。