爬虫 02

一.代理ip

1.代理ip的级别
    (1)透明          别人知道你使用的是代理ip,也知道你的真实ip
    (2)匿名代理      别人知道你使用的是代理ip,但不知道你的真实ip
    (3)高度匿名代理   别人不知道你使用的是代理ip,也不知道你的真实ip
2.代理的分类.
    (1)正向代理: 代理客户端获取数据,正向代理为了保护客户端不被追究责任.
    (2)反向代理: 代理服务端提供数据,反向代理为了保护服务端和负责负载均衡
3.常见的代理ip网站
    (1)www.gaobanjia.com
    (2)https://www.xicidaili.com/ 
    (3)快代理
4.使用代理的参数
    
 

二.PhantomJS 和谷歌无界面浏览器配置

1.PhantomJS是一款无界面的浏览器,其自动化操作流程和上述操作谷歌浏览器是一致的。由于是无界面的,为了能够展示自动化操作流程,PhantomJS为用户提供了一个截屏的功能,使用save_screenshot函数实现。
2.谷歌无界面浏览器的配置
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
原文地址:https://www.cnblogs.com/hu13/p/9264206.html