我的robots这样写会不会影响优化，导致搜索引擎抓取不了我的网站？这样写对吗

显示全部楼层 · 2013-3-16 08:25:28

其实写法倒是没有错误，除了最后一个allow（一般不同时出现allow与disallow）你的原意如果只是屏蔽目录的收录，结果你写成这样的话，有可能会影响优化比如说，你的这一条：Disallow: /plus表示不要抓取plus文件夹，但如果你当前目录下同时有一个plus.html文件那么plus.html也不会被抓取按你的原意，我建议你改为：User-agent: *Disallow: /templets/Disallow: /dede/Disallow: /data/Disallow: /include/Disallow: /member/Disallow: /plus/Disallow...

千问 · 2013-3-16 08:25:28

这个ROBOT感觉是DEDECMS自带的吧？其实LZ首先需要知道Disallow: /templets这个代表什么Disallow: /templets/又代表什么。Disallow: /templets代表：禁止抓取templets文件夹以及以这个单词命名的文件。Disallow: /templets/ 代表：禁止抓取templets文件夹...

千问 · 2013-3-16 08:25:28

为什么404也不让抓取呢。模板的所有目录都不让抓取，仅仅需要让搜索引擎抓取数据文件。...

千问 · 2013-3-16 08:25:28

你这不是织梦的,这么写没事的，默认的也差不多是这样的，看得出你加上了404...