爬虫七之分析Ajax请求并爬取今日头条

爬取今日头条图片

这里只讨论出现的一些问题,代码在最下面github链接里。

首先,今日头条取消了“图集”这一选项,因此对于爬虫来说效率降低了很多;

在所有代码都完成后,也许是爬取下载次数太多,今日头条实行了反爬,目前还不知道解决办法。

使用json.loads(html)时报错:

json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)

该问题在使用'replace()'后得到解决。

原文地址:https://www.cnblogs.com/guiguiguoguo/p/11276143.html