代理池 和 cookie池 搭建

代理池搭建

# github，下载免费代理池开源代码
# git clone git@github.com:jhao104/proxy_pool.git
# pycharm打开，修改配置文件（reids地址修改）
# 启动爬虫：
python proxyPool.py schedule
# 启动服务：
python3 proxyPool.py server

# 随机获取一个代理
requests.get("http://127.0.0.1:5010/get/").json()
#删除一个代理
requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))

cookie池原理

# 如何搭建cookie池
# selenium写一套（一堆小号），跑起脚本，自动登录，手动参与
# 拿到cookie，放到redis中
# django搭建一个服务：127.0.0.0/get,随机返回一个cookie
# request发送请求爬数据（selenium拿到的cookie），cookie失效