如何禁止百度蜘蛛爬取内页。但能爬取收录主页

[复制链接]
查看11 | 回复3 | 2013-9-6 18:28:15 | 显示全部楼层 |阅读模式
用robots屏蔽掉你不想让蜘蛛抓取的路径就行了...
回复

使用道具 举报

千问 | 2013-9-6 18:28:15 | 显示全部楼层
我汗, 原来是求解啊。 我以为是文章呢。 所以就进来瞅瞅的。...
回复

使用道具 举报

千问 | 2013-9-6 18:28:15 | 显示全部楼层
用robot文件来限制,不过既然想做排名的话就没这必要...
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

主题

0

回帖

4882万

积分

论坛元老

Rank: 8Rank: 8

积分
48824836
热门排行