第一问答网»论坛 › 中问网 › 问答 › 网站的robots.txt怎么写?

网站的robots.txt怎么写?

[复制链接]

11 |

1 | 2012-10-10 16:31:45 | 显示全部楼层 |阅读模式

User-agent: *意思是允许所有搜索引擎收录，只允许某个搜索引擎收录把*换下那个搜索引擎蜘蛛的名称就好了。baiduspider
googlebot等等禁止某个目录收录disallow:/目录...

使用道具举报

返回列表发新帖

千问

主题	0 回帖	4882万积分

论坛元老

Rank: 8 Rank: 8

积分: 48824836

加好友
发消息

回复楼主返回列表

问答

热门排行

1 求K的官方小说汉化和原版扫图感谢
2 二十二个字,组成一句话.<的,好,不,过,一,你,想,我,世,生,真,恨,今,了,为,情,再,爱,幸,福,等,今>
3 情情绪问题
4 考研违纪会当场通知学生本人么
5 全志A13 安卓4.0性能怎么样啊
6 有没有人买过房屋预售证没下来就买的房子？最后房屋预售证有没有下来？我想了解下实情
7 物块A重10N,物块B重20N,A与B间,B与地面间的动摩擦因素均为0.5.水平轻绳一端系于A上,另一端系于墙
8 苹果4s前几天摔过了今天发现前置摄像头不好使了
9 干流通航里程达7万多千米,占全国内河通航总里程的多少?看清楚啊，这里是干流，不是干支流
10 求伪物语高清全集[email protected]
11 《网游之圣战界碑》最新txt全集下载
12 后面的箭头怎么弄啊word
13 大腿骨与骨盆连接处疼痛往上抬腿咯吱一声
14 睡觉前为什么会流泪。
15 落樱飘txt全集下载
16 鹔鹴这种雁其实是现在的哪种鸟类？
17 那位大哥大姐，来接一下这道题
18 唐山哪儿可以买光轴
19 跪求office2007简体中文完整版附上密钥 win7 64位旗舰版 [email protected] 谢谢！！！
20 吕梁办理证件
21 求步步惊心2 的txt全集
22 求这部电影的名字。。。。
23 西安发烧友求求群有么有
24 各国（国外）航运融资租赁优惠政策有哪些
25 急求，照片大小为一寸或小二寸，格式为jpg，文件大小必须在20kb—45kb之间像素宽160高210
26 梦三国人品爆发
27 其中A,B均为黑素粉末状固体,D是一种红色固体,C,E均为无色无气味的气体，F是一种难溶于水的白色固体
28 霉菌性阴道炎多注意那类事项
29 请叫我英雄，用英语怎摸说
30 关于拨号上网的问题。求高手速来解答，小弟感激不尽~在线等~急急急！！！
31 2013年1月5日出生，求各位高手给乖女儿取个好名字，父亲性袁，母亲性张
32 最强会长黑神第二季黑神最後到底有没有死?
33 甘露醇作用
34 外地买迈锐宝车在营口能上牌吗
35 求换大米2.5版本的原声mp3，谢谢！
36 原唱是谁啊
37 再次降临小说txt全集免费下载
38 《《乌鸦》巫耳》txt全集下载
39 经常性的自我厌恶怎么办？
40 关于跟公司解除劳动后赔偿金的问题.
41 苍天为鉴我们曾一起走过电子书txt全集下载
42 西岭雪山滑雪、住宿问题
43 踢老板2怎么制造碎片
44 电信自带的猫有个无线功能，怎样设置才能上网
45 高一英语句型转换题
46 升级时，手机没法被识别。机型K103，这是我第一次升级啊！问题如图所示
47 被天使守护的北极星txt全集下载
48 豪华的水晶灯有木有？
49 《守望孤独》最新txt全集下载
50 赣州市区哪里有体育用品店拉羽毛球线的具体位置在哪里？
51 麻烦帮我看看我买的4s是不是翻新机序列号 C8PJWJVUDTC0 谢谢
52 脸上血液循环不畅怎么办
53 求啊求这种空间主页是怎么弄的诶。。。。。。。。
54 求经典 HH 的后宫动漫必有重谢啊大量有什么发什么 [email protected]
55 凤于九天1-29完整版+番外 [email protected]在线等
56 一首粤语歌，歌词是“叱咤风云什么什么什么（仰望）……“ 粤语的求
57 穿越重生为玄皇的txt全集下载地址
58 黄鹤楼硬大彩是窖藏烟丝吗
59 台电p85电量低闪屏！
60 求孙红雷的30集《潜伏》高清版本下载种子，谢谢！！
61 怎样把:老师对我们说:"陈强的作文得奖了,你去把他叫过来."改为转述句
62 我2011年12月结转本年利润时做错了，12月的利润数变成了贷方余额，本年利润结转到未分配利润（全年额），
63 沧月《羽》中的音乐是
64 苏教版六上语文第五单元书后习题全部答案（除描红背书），高分悬赏，讲课用，后日之前务必交，不可少一。
65 求中央记录频道二战题材的影片
66 帮忙设计下 clean 这几个英文字母就是有点非主流繁体字的感觉一点点就好别太过分弄的面目全非的。。
67 狂徒（朽木可雕）完本TXT下载要完本章节好的追加分数，要有VIP那种的发送到[email protected]
68 THINKPAD笔记本电脑突然蓝屏重启了
69 用一条长15.42厘米的铁丝围成一个半圆形，这个半圆形的半径是（）厘米要过程
70 长三角洲有哪些港口
71 你的qq登不上去的时候怎么办？
72 买了正版系统装后，觉得不好用，不用了。那买的系统正版系统盘不用会怎样
73 温州大学有读研究生单证吗？
74 分析汉文帝缩短丧期的原因及影响，具体些，最好有文献证明，谢谢
75 一体机M92，160G硬盘换成WD320G后，正常使用中，黑屏，提示:选择驱动器，restart. 重启几次，不能进入系统
76 我领取的360安全卫士9.0没体验码怎么办啊
77 魔力宝贝猎人和厨师的问题请教各位大神谢谢了
78 一块木块以20米每秒的初始速度冲上30度山坡,到3.8秒末速度为0如木块80kg水平摩擦因数0.1 求位移
79 想要男主腹黑，但疼女主的小说，最好是合集
80 能发一下无心人的地址吗
81 谁有郭德纲长篇单口相声（音频）请发[email protected]
82 玩笔杂记的txt全集下载地址
83 计算个人所得税
84 转身我就拽的txt全集下载地址
85 三洋摩托车发动机上怎么会有本田字样
86 联想笔记本g480azb960能玩什么游戏
87 中国将军文化协会定制酒
88 我想问一下名字笔画。李依炫和李彦俊和李龙彦这三个名字的笔画各杀多少？是吉杀凶？
89 阿里巴巴网里的深圳市正益科技有限公司的安卓智能网络播放器有谁用过？价格还可以，想进一批试试。
90 北窝小说txt全集免费下载
91 为什么家里安装路由器后,就不能上网了
92 2012年11月22日来的月经，由于月经周期一般推迟一个星期左右
93 广播剧要古代完结的发到[email protected]谢谢
94 谁有魔兽世界背景小说，越全越好，越多越好。。
95 《路过爱》txt全集下载
96 Chinese Journal of Natural Medicine 是sci吗？
97 想要收藏来自远方所有的书，谢谢 [email protected]
98 某工厂采用分馏技术把沸点不同的几种物质从混合液中分离。如酒精的沸点是78°C，水的沸点是100°C。想想看
99 家长太凶怎么办？？？
100 求此CG出处~~~~