每日学习(爬取博客园新闻内容失败经验)

之前爬取博客园新闻的标题,很成功的就可以爬取到,但最近爬取博客园新闻的具体内容时出现了一些小问题。

而对于这种情况,需要登录博客园获取网页的cookie,添加到headers中去

先登录

然后F12,复制cookie

最后加入到hearders:

这时候运行就可以爬取新闻详细内容。

作者:哦心有
本文版权归作者和博客园共有,欢迎转载,但必须给出原文链接,并保留此段声明,否则保留追究法律责任的权利。
原文地址:https://www.cnblogs.com/haobox/p/15085731.html