蜘蛛访问不到ROBOTS 对SEO 有影响么？老是返回404页面。

显示全部楼层 · 2011-10-21 16:41:44

在网站seo优化的过程中常常需要通过一个名为robots.txt的文件与搜索引擎蜘蛛对话。通常来讲，搜索引擎蜘蛛爬行到某一个网站就会首先读取该文件，并按照文件中的规则执行接下来的行为。当一个网站中有一些网站不需要被搜索引擎收录时，往往就会通过robots.txt来限制搜索引擎蜘蛛对这个网页的抓取。网站robots.txt中对某个网页屏蔽了蜘蛛的收录，但搜索引擎还是会对该网页进行抓取，只不过在相关搜索结果中不会展现这些网页内容。所以robots.txt对搜索引擎优化有一定的影响的，在搜索引擎的结果中不会显示你的网站页面的相关内容。...

千问 · 2011-10-21 16:41:44

访问不到无所谓，找不到的话蜘蛛就会抓取所有页面，404还是少点吧，相当于死链，谁会喜欢？如果蜘蛛来了几次发现一直这样，下次它就不来这个页面了...

千问 · 2011-10-21 16:41:44

这个没有什么影响的，因为这个文件是告诉百度那些可以抓取，那些不能抓取，如果你没有这个文件，那蜘蛛就按照正常的情况爬行。会返回404页面我估计是你设置的问题，和ROBOTS文件没有影响的。...

千问 · 2011-10-21 16:41:44

蜘蛛访问不了robots对SEO影响不大。...

蜘蛛访问不到ROBOTS 对SEO 有影响么？ 老是返回404页面。

蜘蛛访问不到ROBOTS 对SEO 有影响么？老是返回404页面。