求教大神，爬虫爬取猫眼电影榜单时出现问题了！

显示全部楼层 · 2021-1-27 06:35:01

在浏览器中输入https://maoyan.com/board时，会出现美团验证，如下图：

验证成功后，便可成功爬取https://maoyan.com/board这个页面了。但过了十几分钟后，就爬不了，只能爬取到验证页面的代码，部分代码如下图：

但浏览器登录https://maoyan.com/board没有问题，也没有验证页面出现，但就能是爬取不了，只能爬取到验证页面的代码。
只有重启电脑之后，以上的验证页面才会再次出现，但也只能正常爬取十几分钟，之后爬取的又是验证页面的代码了。
求教大神，怎么破呀?
defget_pages(url):
headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64;rv:72.0)Gecko/20100101Firefox/72.0"}
response=requests.get(url,headers=headers)
ifresponse.status_code==200:
returnresponse.text
url="https://maoyan.com/board/4"
html=get_pages(url)
print(html)

分 -->

千问 · 2021-1-27 06:35:01

抓的速度高吗，高的话降下速。

千问 · 2021-1-27 06:35:01

这时验证可以破，最简单的就是用你的账号登录猫眼网页端，然后复制浏览器里的cookie到你的程序代码的请求头header。这样大概就实现了用你自己的账号会话爬取数据了。你可以试试！

千问 · 2021-1-27 06:35:01

那是个骗人的
https://maoyan.com/board/4?offset=
访问这个链接之后手动划掉就行。拿不到数据是你cookie不对，自己拿个电影名匹配你拿到的数据有的话说明请求成功了。没有的话说明拿到的不是那个页面的数据，重新换下头和cookie