为了测试百度蜘蛛的勤劳程度，昨天做了一个测试。新申请一个域名，将网站设置好后，到一个百度爬的比较快的网站加了一条链接。
链接是在傍晚18：11加上的，18：20，百度蜘蛛来了，而且一爬就是源源不断的，大概以5秒一次的频率在抓取网页。今天早上到百度搜索，发现网站首页已经被收录了。百度蜘蛛2.0估计有了突破性的性能提升，能够以更快的速度抓取网站，百度的搜索技术估计在容量上也大大提升了。按以前的做法，百度基本都要1个星期才能收录新站的，而且只是抓取首页。