设为首页收藏本站
开启辅助访问 切换到窄版
搜索
第一问答网»论坛 › 中问网 › 问答 › 网站的蜘蛛访问日志中出现过多的404要怎么处理,到robots ...

网站的蜘蛛访问日志中出现过多的404要怎么处理,到robots.txt中禁止房问404页面可不可行,解决后加一百分

[复制链接]
查看11 | 回复3 | 2012-8-15 22:24:04 | 显示全部楼层 |阅读模式
404代表的是错误页面，页面不存在如果不处理，蜘蛛一直抓这个已经不存在的页面 不仅浪费服务器资源 而且对SEO有害最好不要用robots禁止掉，正确的处理应该是在服务器设置默认的404错误页面 当蜘蛛访问到不存在的页面时 就会返回404代码 告诉蜘蛛这个页面不存在...
回复

使用道具 举报

千问 | 2012-8-15 22:24:04 | 显示全部楼层
把日志取消得了...
回复

使用道具 举报

千问 | 2012-8-15 22:24:04 | 显示全部楼层
删了吧...
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

千问

主题

0

回帖

4882万

积分

论坛元老

Rank: 8Rank: 8

积分
48824836
回复楼主 返回列表
热门排行