robots.txt是什么文件？起的什么作用

显示全部楼层 · 2014-8-15 10:08:41

Robots.txt要放在根目录下，里面的内容会限制搜索引擎访问的内容。User-agent: Baiduspider （搜索引擎是百度蜘蛛）Disallow: / （限制跟目录开始不能抓取。）User-agent: baiduspider（因为不知道百度蜘蛛的大小写字母，所以加上小写的。）Disallow: /User-agent:* 针对所有引擎Disallow: 网站内所以内容都可以被抓取。·个人网站是希望百度蜘蛛抓取，所以不会添加这个文件。看看能否满足你的需求，不明白可以追问！！...

千问 · 2014-8-15 10:08:41

是给搜索引擎看的东西，一般主要用于设定让搜索引擎抓或者不抓哪些页面，和指明sitemap...