第一问答网»论坛 › 中问网 › 问答 › 网站Robot设置是什么意思

网站Robot设置是什么意思

[复制链接]

11 |

1 | 2012-8-22 09:19:47 | 显示全部楼层 |阅读模式

Robot文件是针对蜘蛛进行网站抓爬权限的设置，通过设置robot来告诉搜索引擎蜘蛛你的网站有哪些东西可以爬哪些东西禁止抓爬...

使用道具举报

返回列表发新帖

千问

主题	0 回帖	4882万积分

论坛元老

Rank: 8 Rank: 8

积分: 48824836

加好友
发消息

回复楼主返回列表

问答

热门排行

1 百度用的是什么技术?
2 我不甘心就这样离开他。。帮我！！
3 如何洗掉衣服上的旧茶资
4 找不到TCP/IP协议
5 在哪能下到《火烧圆明园》免费不用注册的
6 请问对偷税行为能否适用《行政处罚法》的减轻情形，处以百分之五十以下的处罚？
7 心理系本科生出国好还是考北大研究生好
8 大家在恋爱刚开始的时候一般都带你的女朋友去哪啊?
9 什么是Internet？Internet与 internet、Intranet、Extranet 有什么区别
10 请大家告诉我几种常见的女性紧急避孕药，没副作用的！！
11 能帮我找找有关英语缩略语的英文资料吗?网站也可以,谢谢大家帮忙啊!!
12 我大学是学工科的，我现在想考研，考哪个专业的，相对容易一些？
13 我想买PM4
14 在武汉读大专一年一般要多少钱
15 求一个EXCEL的教程要非常详细的谢谢
16 去颐和园从哪个门进好？
17 请问：工商年检表中经营情况如何填制？
18 谁可以给我个QQ等级高一点，好吗！！！
19 想要把硅微粉中的铝除掉,同时除掉铁.不知有什么好办法
20 有没有人看得懂血液检查的自身抗体谱检查报告单？
21 染发膏弄手上怎么洗掉
22 工作好与工作不好有什么直接关系吗？男朋友工作市老师，家人觉得工作条件太不好！怎么办》
23 眼睛发干怎么回事
24 为什么msn的博客经常登陆不上去？
25 比较波兰的十月事件,匈牙利的十月事件和捷克和斯洛伐克的布拉格之春的相同和不同点
26 一个没有生育能力的女孩儿选择男朋友的要求该打折（降低）吗？
27 有好的回拔电话吗？？请推荐一下，要质量好的
28 数显卡尺读数原理
29 用人单位对成人高考和自学考的看法
30 电脑配置
31 租房好还是买房好呢？
32 吃生鸡蛋对身体有益?有害?
33 苹果醋的化学成分谁知道请告之??急!!!
34 机器老是自动重器
35 怎么用投入产出预测能源
36 摩托罗拉V3怎样下载歌
37 谁知道天津河西星光灿烂娱乐广场ktv有活动么？怎样收费的！
38 如何申请QQ,我对QQ一点不懂?
39 华安保险
40 不知道怎么搞的所有的音乐网站,在线听歌都不能听了
41 谁有叶一茜的剧照？
42 工资的多少比例租房较好？
43 他说很想过一个人的生活?
44 word文档中如何在圆圈中输入文字（每个字外面有个圈）。
45 急求：模板匹配方面的简单C程序
46 哪位知道北京提供稳定好用网站空间的
47 仰面游泳时如何才能漂浮住?
48 哪里有柯达V550的外接电池盒卖？
49 韩文我爱你怎么打啊？
50 ID的英文全称
51 急求校园新闻投稿各大网站邮箱地址
52 电脑无法启动
53 家里要留多少现金，以备不时之需？
54 求助网卡问题
55 虚拟内存的大小有什么来决定?
56 话筒没有声音,电脑不能录音,
57 昨晚~我约了女网友出来见面
58 电脑基本常识
59 急！我做的图片怎么也链接不上，
60 长期处于亚健康状态怎么办啊？
61 请问我要用什么软件剪辑视频片段好啊？
62 为什么会有台风？
63 关于电脑声卡的问题请教高人
64 为什么人会日久生情呢?
65 超级医生3里如何进行输液和输血呢？
66 如何设计促销版面？
67 请问现在旧玻璃市场回收价多钱一吨
68 顺义哪儿有价廉物美的瑜珈班？不要福瑞斯的！
69 家里太潮湿
70 什么最挣钱？
71 我想知道一些网址,
72 学英语用电子词典好还是大厚字典好？
73 真爱赌注主题曲
74 上海雅思分校在哪里
75 mp4磁盘内存变小了，怎么回事啊？.
76 申办2008年奥运会的口号是什么？2008年申奥短片的导演是谁？
77 注册劲舞团的网站是什么?
78 正常情况下头发一天会长多长？
79 来个笑话
80 求救《平衡球》第6关换成纸球后怎么过右边那几块木板
81 有人玩过笔仙么?
82 我想当一名真正的赛车手.请教各位到哪里报名?
83 现在是不是不提倡专升本？
84 IE 浏览器怎样卸载然后怎样安装啊？
85 款冬花的含量测定
86 我最近买了三千块的交银施罗德稳健基金，请问这基金有前途吗？
87 白醋加蜂蜜是否能减肥
88 请问大家音像带的版权是在出版社吗？
89 一个网页的问题?怎么设置错误页?
90 谁能告诉我电脑配置怎样才算好，就是一些对比什么的
91 我的刻骨铬心,成就了他的风花雪月
92 汇率的种类
93 是你怎么做？我不想和他分开```
94 XP中'我的电脑'下的显示问题
95 在QQ上聊天时,如何看出对方在哪个城市?是不是在聊天时都能看出对方的地理位置?
96 油包水和水包油？
97 我和同学同在一个机房他们互相之间的传送速度是几千K 而我的只有几十K 这是为什么啊
98 怎样测试耳朵听力
99 重新安装XP系统的软件件有吗?
100 我有一录像是AVI格式，在电脑上放不出来，请问用什么软件？