设为首页收藏本站
开启辅助访问 切换到窄版
搜索
第一问答网»论坛 › 中问网 › 问答 › 关于Robots.txt 内容 懂的来回答

关于Robots.txt 内容 懂的来回答

[复制链接]
查看11 | 回复2 | 2010-6-28 09:03:40 | 显示全部楼层 |阅读模式
# Robots.txt file from http://www.jlsifu.com
# All robots will spider the domain
User-agent: *
Allow: .html$
Disallow: /
请解释以上描述的含义！！
回答要全面哦 包过下面 * html /
剑灵www.jlsifu.com

回复

使用道具 举报

千问 | 2010-6-28 09:03:40 | 显示全部楼层
User-agent: *Allow: .html$仅允许访问以".html"为后缀的URL。Disallow: /
禁止所有搜索引擎访问网站的任何部分上面2句话合起来的意思，就是仅允许搜索引擎收录".html"为后缀的URL，也就是说仅允许收录静态页面，动态页面不允许收录
回复

使用道具 举报

千问 | 2010-6-28 09:03:40 | 显示全部楼层
允许所有的搜索引擎索引该网站的所有页面
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

千问

主题

0

回帖

4882万

积分

论坛元老

Rank: 8Rank: 8

积分
48824836
回复楼主 返回列表
热门排行