第一问答网»论坛 › 中问网 › 问答 › 网络爬虫给你网址，把第一页爬完后怎么爬到第二页？ ...

网络爬虫给你网址，把第一页爬完后怎么爬到第二页？

[复制链接]

11 |

1 | 2013-7-14 21:03:22 | 显示全部楼层 |阅读模式

用正则匹配url，先存入到本地的数据表中，例如：logs表，然后判断每条url的状态是否下载。网页总页数只是一层一层的来统计的，最终有个总页数...

使用道具举报

返回列表发新帖

千问

主题	0 回帖	4882万积分

论坛元老

Rank: 8 Rank: 8

积分: 48824836

加好友
发消息

回复楼主返回列表

问答

热门排行

1 黑莓6300为什么上不了网,不知道是不是设置问题，求高手指教设置方法
2 win7玩FIFA足球经理11 玩不到20分钟游戏就就自动蹦了
3 漫画英雄:终极联盟如果双人的话北通小手柄能双人吗？
4 胆结石微创手术后伤口周边皮肤过敏怎么回事
5 谁有七雄争霸的私服要变态的.还要不卡的,有的告诉我
6 920au的M币怎么用?
7 我怎么感觉关于会员跟白名的问题也有人挑拨
8 玩CF鼠标中间的轮不能换枪？
9 说说y=lg[X √(x2 1)]若[x √(x2 1)][y (√y2 1)]=1y=cosx=sin（x 丌/2)
10 扣押金和推迟到每月18号发工资，现在还有扣押金一说么，我和公司没有合同，要走500的押金和18天的工资不给
11 如何预防癫痫发作引起的伤害呢？
12 怎么判断处女膜有没有破损
13 免漆套装门安装工艺
14 电磁波发射器，频率为800MHZ或以上的，谢谢啦！
15 关于文轩中国电子商务的问题我急求帮忙谢谢拉！
16 牛奶养胃睡前可以喝牛奶么
17 请问，我买一台二手的摩托车，需要什么证件，他说有行驶证，这样够吗
18 破伤风过敏性休克症状
19 我电脑以前开机才30秒过了突然启动就要2分多钟了这是为什么啊！360杀毒了也没有病毒恶意也没有插件
20 jf.chinamobile.com积分兑换话费
21 如果在工厂宿舍里被不明物咬到脖子。,工厂应该负责任吗?算不算工伤,工厂应不应该赔偿全部医药费?
22 如何用ps做立体书封面
23 丘脑损伤的临床表现有哪些
24 磷霉素过敏性休克怎么办
25 感染性休克时会导致心功能障碍吗
26 颅脑损伤会引起老啥
27 头孢过敏休克完能开空调吗
28 服抗癫痫药物后可以喂奶吗？
29 金华电大的全名是什么
30 我叫孙金慧，男性，想起个跟我的中文名差不多谐音的英文名，谁能给点意见啊？
31 3个多月孩子睡不着是脑瘫吗
32 脑损伤是ct检查还是磁共振
33 轻度脑损伤不治疗会怎样
34 听说现在乐高
35 给孩子皮肤擦拭药酒会大脑损伤吗
36 才买的金毛，不知道纯不纯啊。跟百度上说的对照还可以，但希望内行的来看下啊。。多谢了，上图了！
37 两个人分手后还能不能再次在一起
38 qq肤色怎么弄才是透明的啊,? 我的QQ 403791581 邮箱[email protected]。
39 皮质盲是脑损伤吗
40 中度颅脑损伤判定方法
41 放射性脑损伤保守治疗方法
42 脑损伤对肢体有影响吗
43 造成脑损伤可以恢复吗
44 继发性脑损伤怎么检查
45 得了咽炎怎么去治疗
46 从通州蒙牛去石林峡需要多长时间能到，谢谢告知。
47 鼻出血有哪些严重症状
48 不是脑损伤的原因
49 50的标头1.8的光圈装在d700全画幅上怎么变成1.6的光圈
50 用vs.net编辑器编写的程序在运行时结果是另外一个程序的结果，这是怎么回事
51 你门还有谁要去合肥的航天信息面试的，我们一起啊，大家一做个伴啊！
52 周华健有首歌，歌词中有“我想告诉你是个？？的男人，也有一个男人……”，请问那个歌是什么
53 本人今年31岁，女，嗓子不舒服，感觉肿了怎么办？
54 贴吧头衔怎么才能多得积分详细的告诉我一下
55 患上慢性咽炎怎么治
56 我是药品厂家的业务员，要把药品放到药店，公司问我要药店的证件，都需要什么？
57 QQ仙侠国庆活动的礼包怎么发放的
58 喉咙右侧吞咽疼痛应该怎么办呢
59 马来西亚旅游地谁给介绍几个好去处？
60 小孩外耳炎怎么治疗呢
61 查出外耳道炎该如何治疗
62 成龙张学友黎明哪个是个卖唱的，哪个是个打架的，哪个是个跑龙套的啊？
63 中耳炎怎么护理？
64 没来月经，下腹部仍胀痛
65 谁有WWE杰夫哈迪的出场音乐网站
66 求《盗墓笔记8》TXT，邮箱[email protected]
67 睡醒鼻屎多怎么解决？
68 如何找到搜狗联盟帐号的密码?
69 为什么鼠标会变样？
70 什么叫铁白血球偏高怎样冶？
71 请问这首歌叫什么名字？ http://user.qzone.qq.com/46425920/infocenter
72 和男朋友做之后，流血了
73 鼻息肉初期好治疗吗
74 最近足球有什么强队！？
75 跪求鬼吹灯全书谢谢
76 低热咳嗽37-37.2度，麻烦医生帮我看
77 手淫三年，感觉有点肾虚，一周两次
78 甲亢三年。西药吃了一年伤肝。
79 胃部胀痛，且人一直在消瘦
80 听书吧有声小说网
81 怎样才能找到女朋友啊？
82 家里的小姑娘3岁半了，想送去婴幼儿早教机构，北京这边哪一家比较好呢？
83 饭后想吐，痰多，早上起床舌头上表面干燥
84 胳膊、腿上会长累死蚊子咬的包
85 44格调色盒排列40色
86 胃炎睡眠不好焦虑后头晕，不知为何
87 婴儿痢疾的症状及治疗是什么呢？
88 胃癌手术后不能吃东西
89 一个月的婴儿能吃鸡内金吗
90 请问在哪里能买到好的戒毒药品啊？朋友急用
91 男孩儿多汗怎么办
92 排卵期出血，肚子特别疼
93 婴儿挠脸怎么办
94 我用家用电扇当散热能超频么
95 有个朋友现在被羁押在湖南衡阳县看守所，天气冷了想寄点衣服过去，请问去哪里奇？地址该怎样写？
96 如果宝宝添加奶粉后，便秘，是什么原因导致的？
97 请问8个月的宝宝连续2天发烧怎么治？反反复复的。
98 足月小样儿出生非要送新生儿科护理吗？
99 宝宝出去玩了以后今天有点嗜睡怎么回事
100 跪求吸血鬼日记小说！要中文完整版本，请发到[email protected]，谢谢啦~~~~~~~~~