ip封禁问题

####

首先是如何能避免封ip?

然后是封了ip怎么办?

###

如何避免封ip,

1,ua方面,尽量模拟浏览器的访问,比如useragent,尽量使用不同的ua,可以增加随机选择ua的功能,频繁切换UserAgent(模拟浏览器访问)

2,频率访问,降低采集频率,时间设置长一些,访问时间采用随机数

3,多页面数据,随机访问然后抓取数据,访问页面的顺序也可以随机着来

4,更换用户IP,这是最直接有效的方法!

网站封的依据一般是单位时间内特定IP的访问次数.将采集的任务按目标站点的IP进行分组通过控制每个IP在单位时间内发出任务的个数,来避免被封.当然,这个前题采集很多网站.如果只是采集一个网站,那么只能通过多外部IP的方式来实现了.

####

解决ip封禁问题,

1,免费ip,这个不稳定,但是不需要成本,

2,收费ip,比如芝麻代理,这个成本比较高,使用简单,

3,vps拨号,这个成本会相对低,配置复杂一些,

####

免费ip

这些IP可以从这个几个网站获取:快代理、代理66、有代理、西刺代理、guobanjia。

如果出现像下面这种提示:“由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败”或者是这种,” 由 于目标计算机积极拒绝,无法连接。”. 那就是IP的问题,更换就行了。。。。发现上面好多IP都不能用。。

#####

原文地址:https://www.cnblogs.com/andy0816/p/15318463.html