爬豆瓣被封的解决方案

之前settings.py 中下图是注释掉的,:  

DOWNLOAD_DELAY = 3

现在把它放开,赋值3(意思是3秒)

现在700多个话题的豆瓣小组,可以顺利爬下

比较懒,感觉代理池会不会很复杂呀,什么的。

不过,设置了爬取的时间间隔,确实慢了很多。

代理池还是要用起来

原文地址:https://www.cnblogs.com/vivivi/p/7156214.html