robots 为什么我在里面禁止是蜘蛛爬行某页,但是日志里仍然看到它爬了.302,这样子

显示全部楼层 · 2010-7-21 09:29:15

User-agent: *
Disallow: /s_x.asp
以上是robots部分内容
d:\iislog\W3SVC\ra100719.ibl 87 ADMIN-57548BA8B 1080 2010-07-19 00:00:09 220.181.94.221 219.235.3.231 80 GET HTTP/1.1 302 0 31 537 424 0 /s_x.asp m_id=2527 -
请问,这个是什么缘故呢?是不是sitemap里面有这个页面所以冲突.还是其它?
是不是说.虽然写在robots里禁止收录了.但是他还是照爬,只是不收录而已?

千问 · 2010-7-21 09:29:15

robots文件写的没有问题。。不用担心，蜘蛛只是爬行页面，并不代表一定就收录这个页面；在他爬的时候，他会查看并遵守robots协议，不会将你这个页面收录在搜索引擎索引中

千问 · 2010-7-21 09:29:15

robots文件写的没有问题。。页面收录有一个时期的，百度收录很慢的，谷歌有时候需要3～7天，建议增加外联，加速收录