第一问答网»论坛 › 中问网 › 问答 › 剖析robots.txt文件中应该屏蔽哪些目录

剖析robots.txt文件中应该屏蔽哪些目录

11 |

1 | 2013-10-11 19:08:38 | 显示全部楼层 |阅读模式

那下面带着这些疑问，笔者会进行详细的解答，希望对新手站长朋友们有所帮助，老鸟勿喷。笔者引用百度站长工具中后段话来解释。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。1、快速增加网站权重和访问量;2、禁止某些文件被搜索引擎索引，可以节省服务器带宽和网站访问速度;3、为搜索引擎提供一个简洁明了的索引环境1)、图片目录图片是构成网站的主要组成元素。...

使用道具举报

返回列表发新帖

千问

主题	0 回帖	4882万积分

论坛元老

Rank: 8 Rank: 8

积分: 48824836

回复楼主返回列表

问答

热门排行