融客

　　愚人节还没有到，百度就和中国广大草根站长提前过了一个愚人节。今天凌晨开始，百度突然大抽风。收录量骤减，原来收录上万的网站，突然收录量减少到几千甚至几百，我的一个小站原来收录量有680多页，也突然减少到只有260多页。多数站长抱怨，他们的网站减少了近4/5的收录量。
　　早上起来逛了一会儿落伍，发现很多站长在讨论百度今天抽筋了，收录数量大减，于是去百度site了一下我的小站，发现确实如大家所说。所幸的是，关键词排名基本没受到影响。笔者估计，可能是百度的服务器闪存又出了问题。不过，到今天傍晚7点左右，百度恢复了我的网站的收录数量。落伍里也有很多站长说百度收录大部分回来了。这是继本周一百度关键词排名突然抽筋后的再一次大规模抽筋。预计百度正在酝酿一次规模比较大的调整吧，大家拭目以待吧。我们能做的，就是淡定，再淡定！
　　不过，如果不是因为百度如期的算法调整，而确实是服务器故障，建议百度高层要好好反省一下了。谷歌退出了，百度要立山为王，不在技术方面加强是站不住脚的。

　　Robots.txt是存放在网站根目录下的一个文件，通常情况下，如果没有Robots.txt这个文件，搜索引擎漫游器（又称网络蜘蛛）会对所有的网站页面进行抓取分析，如果一个网站管理员不想让搜索引擎抓取一些页面，比如网站管理后台，网站次要目录或者涉及到不愿被搜索引擎抓取公开的内容等，则可以通过创建这个文件来引导各大搜索引擎抓取。当搜索引擎抓取一个站点时，会首先检查其根目录下是否有robots.txt存在。如果存在，则会按照文件中所规定的抓取范围，若不存在，则会按照正常的方法进行抓取。关于robots.txt的具体阐述，请参阅：Google管理员>站长帮助：使用 robots.txt 文件拦截或删除网页。
　　去年网上炒得沸沸扬扬的著名B2C网站淘宝网屏蔽百度蜘蛛（BaiduSpider）事件。事情已经过去一年多了，至今仍然可以看到淘宝的robots.txt文件（内容如图所示），从它的内容可以看到，淘宝网全站完全屏蔽了百度蜘蛛的索引。那么百度搜索中是否还有淘宝网的内容呢？请看搜索结果：http://www.baidu.com/s?wd=site%3Awww.taobao.com。由搜索结果可以看到百度中仍然有淘宝网的首页。而百度在自己的网站上称支持robots协议：http://www.baidu.com/search/robots.html。网上既有人说支持，但是要从百度搜索结果中完全删除需要一段时间（这时间到底是多长？一年？两年？）。也有人说不支持，屏蔽了百度蜘蛛后，百度蜘蛛仍然会访问服务器。到底是否支持，有待大家进一步的观察与试验。

淘宝网屏蔽百度蜘蛛