asp.net要不要robots文件

显示全部楼层 · 2011-11-30 10:10:46

非常必要，这个文件是搜索引擎与网站之间的沟通桥梁，是两者之间约定好的语法文件，搜索引擎每抓取一个网站，就会先检查这个文件，就好像开门的钥匙一样。如果这个文件不存在，那么就代表不限制搜索引擎的抓取。如果这个文件存在，它就会按照文件中的规定要求进行抓取。有些站长会问了，我们建立网站，肯定是需要搜索引擎收录的，为什么还要限制其抓取呢?搜索引擎在抓取过程中会搜索全站，你的网站中可能存在一些你采集的东西，或者是类似一些没有实质性东西的页面，那么搜索引擎抓取后会对你的网站的评价大打折扣，起不到SEO的效果，但是robots文件就可以告诉蜘蛛，哪些页面不希望它去看，也间接的减少了服务器的负荷量。...

千问 · 2011-11-30 10:10:46

需要...

千问 · 2011-11-30 10:10:46

需要的...