十二 28
Robots.txt是存放在网站根目录下的一个文件,通常情况下,如果没有Robots.txt这个文件,搜索引擎漫游器(又称网络蜘蛛)会对所有的网站页面进行抓取分析,如果一个网站管理员不想让搜索引擎抓取一些页面,比如网站管理后台,网站次要目录或者涉及到不愿被搜索引擎抓取公开的内容等,则可以通过创建[......]
Robots.txt是存放在网站根目录下的一个文件,通常情况下,如果没有Robots.txt这个文件,搜索引擎漫游器(又称网络蜘蛛)会对所有的网站页面进行抓取分析,如果一个网站管理员不想让搜索引擎抓取一些页面,比如网站管理后台,网站次要目录或者涉及到不愿被搜索引擎抓取公开的内容等,则可以通过创建[......]
早上起床后迫不及待地打开电脑,site一下,发现本站已经被Baiduspider加入索引了(http://www.baidu.com/s?wd=site%3Awww.durongke.com)。离我建立博客才第二天。值得乐滋一下,接下去,我将不断充实本站的原创内容,提高链接的广泛度,做好关键词的[......]
最新评论: