第一问答网»论坛 › 中问网 › 问答 › 怎样用robots屏蔽网页？

怎样用robots屏蔽网页？

[复制链接]

11 |

2 | 2012-10-26 18:35:46 | 显示全部楼层 |阅读模式

robots的语法很丰富，最常用的两个命令有两个：User-Agent和Disallow。建议你先学学先关知识~~~五月兰博客有这方面的文章介绍，可以先去看看，再看看别的网站的robots文件写法，就知道了。...

使用道具举报

千问 | 2012-10-26 18:35:46 | 显示全部楼层

这个并不是屏蔽网页的，应该是屏蔽蜘蛛的吧。...

使用道具举报

返回列表发新帖

千问

主题	0 回帖	4882万积分

论坛元老

Rank: 8 Rank: 8

积分: 48824836

加好友
发消息

回复楼主返回列表

问答

热门排行

1 很担心xun 嘛症传染给老婆，会不会传染啊？
2 烟台蓬莱小额贷款、个人贷款哪家正规？高利贷除外。。。
3 名曲《梅花三弄》的演奏乐器叫什么？
4 求小鱼儿与花无缺高清下载
5 backpressure regulator self-contained是什么意思？？
6 我是手提琴新手，如果要把卡农拉好要用上多少条弦？这个谱
7 求英语中的方位词运用：一开始悬赏20分，回答好的话多加20分
8 电视剧当爱已成往事剧中的宁城在什么地方
9 谁给个能用快播看的网站
10 各位淘宝大神们。小弟在淘宝上遇见了一个问题，不知其解。银行卡认证失败怎么办？？
11 美国的AutoXten，投资10美元回报20万美元是真的么？
12 短效干扰素6个月无效，现改用派罗欣，纠结加不加阿德？
13 欧元换RMB。我暑假去欧洲旅游，旅游回来还有50欧元的现钞，想去银行换成RMB，不知道要什么证件或手续。
14 有什么看起来难,跳起来容易的民族舞蹈?
15 想知道这个哪里可以找到这个不用产品不动手术又能丰_胸的办法呢？有了解的吗？
16 进阶者如何练习吉他？
17 大侠们谁知道云路快递？他家有第三方担保可信吗？
18 我在福州上学啊，好想学吉他~ 哪里有开吉他班，最好要便宜一点~
19 人民币对英镑的汇率怎么算
20 31657987乘651等于多少
21 最近我就是想知道这个了，吃木瓜丰胸不知道效果怎么样呢？哪里可以找到有效果的丰胸的办法呢！
22 五年级要怎样才能提高学习成绩？
23 月亮底下看影子,是什么成语?
24 有哪些好看的悬疑电视剧？
25 怎样学好高中函数？
26 请问投资移民加拿大多少钱？
27 博白县生源地贷款什么时候到账
28 五谷杂粮磨粉机价格多少钱？五谷杂粮磨粉机型号有哪些？五谷杂粮磨粉机结构是怎么样的？
29 我是一个初学者买古筝古筝琴弦硬点好还是软点好呀？敦煌古筝时硬还是软呀
30 美国旧金山大学咋样啊
31 对初中生来讲做一位严格的老师好还是温柔的老师好?
32 谁有碧波仙子的千年的爱恋
33 能给我一个中音萨克斯高低音对应的指法软件嘛？ [email protected]
34 基督教对社会民俗习惯及饮食民俗的影响有哪些
35 要有什么条件才能去美国、加拿大留学？
36 请问谁有韩剧《城市猎人》打包下载的资源？如果有请发到[email protected]，谢谢！
37 求一篇1500字的检讨及及及及及
38 中信理财8号可以赎回没有？钱什么时候到账？
39 给自己问个问题
40 南通私人借贷，小额贷款的有么？哪家信誉比较好？
41 我涐把老师椅子据了老师让涐写检查怎么写
42 都学习什么啊
43 有没有看过一部穿剧叫恋上你的床
44 欧洲研究生留学求助
45 作文咋才写好啊?
46 上刀山、下火海的科学解释是什么？
47 自学吉他需要注意哪些？对新手来说哪种吉他更适合
48 这是我的检查结果，请问我的有问题么，公务员体检可以通过么
49 邱泽在各使用什么牌的手机？各位亲帮帮忙啊？
50 风花仙子外传哪集还珠告诉赵玉是绛珠仙草
51 求教defy基带问题
52 哪位好心人有越狱第二季种子啊？发我邮箱啊814051420qq.com,谢谢
53 自学泰语遇到麻烦了，请问泰语中特殊元音中的摩擦音和低辅音中的弹舌音怎么发音呢
54 你好，李静后来怎样了呀
55 宫2什么时候正式播放呀？
56 法语怎么写
57 人要活得有智慧，还要学习些什么？？
58 男生人数比女生人数少6分之一,那么男生是女生的几分之几?女生是男生的几分之几。
59 小资女孩向前冲有多少集？
60 请教声乐特长生，我Q453919225能加我吗
61 关于维尔博狂犬疫苗的重大问题！听说DNA残留超标！！！急！
62 release都有些什么意思啊
63 会城附近现在有没有英语角啊？
64 第一和倒数第一有什么区别？
65 医生诊断结果是健康但是要我注射一次乙肝疫苗什么意思?
66 元素被加强了？什么时候的事？具体是什么？求解答。
67 I do not know why WwW.qQ8p.CoM so the wandering中文大概是什么意思啊？
68 妖女迷行第二节为什么不更新了呢？
69 六年级小孩怎样赚钱？
70 很急！翻译几个英语句子，谢谢！
71 500克等于多少毫升
72 如何完成学生和社会人的转变
73 这是哪部日剧？
74 高中要怎么才能跟上
75 帮忙翻译几句话，英译中，尽量别用翻译器，谢谢了~
76 速度求《友谊地久天长》F调民谣吉他和弦谱，告诉我到第几节换XX和弦，比如第一节F，第三节XX，3/4拍的
77 1 2等于几速度
78 我们的法兰西岁月什么时候演?
79 淄博哪里有弟子规传统文化学习的地方？
80 北京学成人零起点英语·在哪儿学好？最好有咨询电话·
81 900怎么赚钱
82 什么是形而上学
83 谁有人教版九年级英语听力(课文单词)!可以在MP3上显示单词的？发到[email protected]
84 美金今天的汇率是多少
85 邮政储蓄卡怎么才能往游戏里充钱，不会的别说，谢谢，急
86 有没有正规的贷款的的机构不要放水的
87 平角减钝角等于锐角。对吗
88 女生与母亲合谋杀死女同学?
89 by bus 是一个短语，那by在这里是什么词性？
90 惠州市人均工资多少
91 推荐点好听的钢琴曲？
92 木工雕刻机运行中变声是什么原因？
93 肝癌病人肝基因病毒过高有事吗怎么治疗
94 日语培训班的第一节课，求关于五十音图学习的课堂游戏及相关资料
95 我是女的我爸168 我妈163 我现在157CM 我13周岁我长大后可以长多高？
96 起水痘了但是脸上和身上的水痘不一样！
97 百科全说讲眼底黄斑是哪期？
98 安排家庭理财计划：退休夫妇如何自理晚年生活？说明收入及原因。高一政治题
99 血清白蛋白是什么