说明：Urllib 是一个python用于操作URL的模块
python2.x ----> Urillib/Urllib2
python3.x ----> Urllib
一、变动说明：
python2 中的Urllib和Urllib2 在python3 中合并为Urllib库，使用方法变动如下：
python2 python3
import urllib2 --------------> import urllib.request/urllib.error import urllib --------------> import urllib.request/urllib.error/urllib.parse import urlparse --------------> import urllib.parse urllib2.open --------------> urllib.request.urlopen urllib.urlencode --------------> urllib.parse.urlencode urllib.quote --------------> urllib.request.quote cookielib.CookieJar --------------> http.CookieJar urllib2.Request --------------> urllib.request.Request
二、使用Urllib爬取网页（python3）
urlopen方法
#导入模块： import urllib.request #打开网页，并将打开的内容赋给变量(urllopen)： content_text = urllib.request.urlopen('http://blog.51cto.com') #读取网页内容： content_text.read() / content_text.readlines() content_text.readline()
content_text
.getcode() ###打印状态码
.url() ##打印url地址
.getheaders() ##打印头信息
.info() ##打印响应信息
print (dir(content_text)) ##打印所有方法
使用write方法写入到文件
file_save = open('51cto.html',"wb") ##以二进制方式写入 file_save.write(content_text.read()) file_save.close()
使用urltrieve函数写入
#使用urllib.request.urltrieve函数写入 urllib.request.urlretrieve(url,filename='本地文件地址')
#示例 urllib.request.urlretrieve('http://blog.51cto.com',filename='2.html')
urlretrieve函数解析
urltrive函数，将远程数据下载到本地 urlretrieve(url, filename=None, reporthook=None, data=None) 参数 finename 指定了保存本地路径(如果参数未指定，urllib会生成一个临时文件保存数据。) 参数 reporthook 是一个下载状态报告。 参数 data 指 post 到服务器的数据，该方法返回一个包含两个元素的(filename, headers)元组，filename 表示保存到本地的路径，header 表示服务器的响应头。 urlretrieve执行过程中会产生缓存，可用 urlcleanup()进行清除 urllib.request.urlcleanup()
对网址进行编码解码：
编码：
urllib.request.quote("http://blog.51cto.com") ----------> http%3A//blog.51cto.com 解码：
urllib.request.unquote("http%3A//blog.51cto.com")
三、模拟浏览器headers属性
浏览器headers信息
urllib.request.Request方法
使用爬虫模拟浏览器头信息：
A、urllib.request.build_opener()方法
headers = ("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3107.4 Safari/537.36") opener = urllib.request.build_opener() ###创建自定义opener对象 opener.addheaders = [headers] ###添加headers信息 data = opener.open(url) ##模仿浏览器访问网站
B、urllib.request.Request 方法的add_header()属性
url = "http://blog.51cto.com" req = urllib.request.Request(url) #创建一个request对象 req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3107.4 Safari/537.36")
#或者这样写
headers = {"User-Agent","...."}
req = urllib.request.Request(url,headers=headers)
data = urllib.request.urlopen(req)
超时设置：
import urllib.request urllib.request.urlopen(url,timeout=1)
有时候访问get请求(搜索)的时候会遇到编码问题，需要用urllib.request.quote()对关键字进行编码，然后在构造完整的url才能进行请求
如：
url=’http://xxx.com/search?wd=..’ key=’要搜索的关键词’ key_code=urllib.request.quote(key) url_all = url+key_code urllib.request.urlopen(url_all)
post请求（流程方法）
A、 设置好url网址
B、 构建表单数据，并用urllib.parse.urlencode对数据进行编码
C、 创建requset对象，参数包括url地址和要传递的数据
D、 添加头信息（add_header()）,模拟浏览器
E、 使用urllib.request.urlopen()打开对应的request对象，完成信息传递
F、 后续处理（网页内容的处理和存储等）
代码实现：
B、需要分析网页源代码或f12查看属性，查看要传入值的属性，构建字典： values = {key1:v1,key2:v2} post_data = urllib.parse.urlencode(values).encode(‘utf-8’) C、req = urllib.request.Request(url,post_data) ##创建request对象 D、req.add_header(‘User-Agent’,…) #添加头信息 E、data = urllib.request.urlopen(req) ##打开网页
代理服务器设置
http://www.xicidaili.com/ ##查找代理服务器
代码实现
def use_proxy(proxy_addr,url):
import urllib.request
proxy = urllib.request.ProxyHandler({'http':proxy_addr}) #设置对应的代理服务器信息
#对于一个代理ip列表、可以写成
import random
proxy = urllib.request.ProxyHandler({"http"：random.choice(ip列表)})
或换个方式
proxy_info = { 'host' : 'proxy.myisp.com', 'port' : 3128 }
proxy_support = urllib.request.ProxyHandler({"http" : "http://%(host)s:%(port)d" % proxy_info})
opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler) #创建自定义opener对象
urllib.request.install_opener(opener) #创建全局默认的oper对象
data = urllib.request.urlopen(url).read().decode(‘utf-8’)
return data
proxy_addr = 'xxx.xxx.xxx.xxx:7777'
data = use_proxy(proxy_addr,url)
print (len(data))
如果代理ip不能用会提示：
·
DebugLog
A、使用urllib.request.HTTPHandler() 和 urllib.request.HTTPSHandler() 将debuglevel 设置为1
B、使用urllib.request.build_opener() 创建自定义的opener对象，并设置以上为参数
C、用urllib.request.install_opener() 创建全局默认的opener对象
D、open
代码实现：
import urllib.request httpd = urllib.request.HTTPHandler(debuglevel=1) httpsd = urllib.request.HTTPSHandler(debuglevel=1) opener = urllib.request.build_opener(httpd,httpsd) urllib.request.install_opener(opener) data = urllib.request.urlopen(url)
异常处理：
URLError
HTTPrror
最终版
