PySe-015-爬虫 ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接

在学习爬虫时,爬虫报了如下类型的错误,即被远程主机强制关闭了链接。

分析原因:

  频繁的请求服务器,导致服务器发爬虫的怀疑,被网站认定为攻击行为,最终抛出 10054异常。

解决方法:

  1、在各个请求之间添加随机延时等待;

  2、每次请求数据处理完成后,使用 response.close() 关闭;

  3、随机使用不同的User-Agent;

  4、使用IP代理

分析原因,是因为使用urlopen方法太过频繁,引起远程主机的怀疑,被网站认定为是攻击行为。导致urlopen()后,request.read()一直卡死在那里。最后抛出10054异常

我本渺小,但山峰,我一次次绝顶!


PS:若有错误,敬请告知,不胜感激!
Copyright @范丰平 版权所有,如需转载请标明本文原始链接出处,严禁商业用途! 我的个人博客链接地址:http://www.cnblogs.com/fengpingfan
原文地址:https://www.cnblogs.com/fengpingfan/p/14433251.html