代理IP之蘑菇隧道转发代理

简介

在爬取网页时，一般都会用到代理IP。蘑菇代理网站：http://www.moguproxy.com/ 蘑菇代理的代理IP有两种：API私密代理和隧道转发代理，这篇文章主要介绍隧道转发代理。

在官网购买隧道转发代理后，就可以到订单页面查看购买订单的Appkey。如果是第一次使用，那么需要添加白名单。

可以去官网查看隧道转发代理的接入文档（Python3）。下面的代码是经过修改后的接入文档。只需要在接入文档中添加有效的Appkey，就可以使用代理IP访问网站。

 1 def use_agency(url,appKey):
 2     import requests
 3 
 4     # 蘑菇隧道代理服务器地址
 5     ip_port = 'secondtransfer.moguproxy.com:9001'
 6 
 7     proxy = {"http": "http://" + ip_port,"https": "https://" + ip_port}
 8     headers = {
 9       "Proxy-Authorization": 'Basic '+ appKey,
10       "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0",
11       "Accept-Language": "zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.4"}
12     r = requests.get(url, headers=headers, proxies=proxy,verify=False,allow_redirects=False)
13     print(r.content.decode('utf-8'))
14 
15     if r.status_code == 302 or r.status_code == 301 :
16         loc = r.headers['Location']
17         print(loc)
18         url_f = loc
19         r = requests.get(url_f, headers=headers, proxies=proxy, verify=False, allow_redirects=False)
20         print(r.content.decode('utf-8'))
21 
22 if __name__ == '__main__':
23     # url是需要使用代理IP访问的网站
24     url = '***'
25     # 在官网购买隧道转发代理后，就可以到订单页面查看购买订单的Appkey
26     appKey = "***"
27     use_agency(url,appKey)