python爬虫之如何随机更换User-Agent

这是python里面的一个useragent池,非常好用!具体怎么用呢?

首先,安装fake-useragent

    pip install fake-useragent

然后,使用方法

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent':ua.random}

注意,有些网站可能会根据user-agent来封IP,也就是说他们会根据同一个IP下,如果是很多个不同user-agent在访问,那么,此时,他们就会判定为爬虫。

对应策略的话可以架构一个ip代理池配合UA使用

原文地址:https://www.cnblogs.com/interdrp/p/15477069.html