python 在爬虫中timeout设置超时有什么作用

是为了防止url不可访问,或者响应速度太慢而造成的时间浪费。
比如,你要爬取1000个网站,如果有100个需要30s才能返回数据,
你等待他们返回的话就需要3000s了,如果你设置10s超时,那么就能知道最长需要多久1000个可以爬完。





1、调用test函数超时监控,使用sleep模拟函数执行超时
2、引入signal模块,设置handler捕获超时信息,返回断言错误
3、alarm(3),设置3秒闹钟,函数调用超时3秒则直接返回
4、捕获异常,打印超时信息
程序执行结果:
1 within time
2 within time
3 timeout
4 within time
5 within time
6 within time
7 timeout
8 within time
9 within time
原文地址:https://www.cnblogs.com/chengbao/p/5044043.html