急急！懂robots.txt的请进！discuz开源程序。阻止搜索蜘蛛爬行分析。急急！！！

显示全部楼层 · 2011-7-29 08:56:27

这个是我的robots.txt.帮我分析下，这些都是要阻止蜘蛛爬行的吗？这下面的文件如果让蜘蛛爬行的话，会有什么不好的地方吗？跪谢！
#
# robots.txt for Discuz! X2
#
User-agent: *
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /userapp.php?mod=app&*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*

千问 · 2011-7-29 08:56:27

是的，这些最好不要爬，因为爬这些对网站收录没有多大的用处，耗用服务器宽带而已。配置。模版。安装、目录爬了相当于把你网站内容公布出去了。...

千问 · 2011-7-29 08:56:27

百度下张帅博客找下robots的教程，很详细的...

急 急！懂robots.txt的请进！discuz开源程序。阻止搜索蜘蛛爬行分析。急 急！！！

急急！懂robots.txt的请进！discuz开源程序。阻止搜索蜘蛛爬行分析。急急！！！