Python的urllib和urllib2模块都做与请求URL相关的操作。
它们最显著的差异为:
urllib2可以接受一个Request对象，并以此可以来设置一个URL的headers，但是urllib只接收一个URL。
urllib模块可以提供进行urlencode的方法，该方法用于GET查询字符串的生成，urllib2的不具有这样的功能.
python 2.7.x提供了urllib与urllib2，鉴于上述异同两个库通常搭配使用。
urlopen
urllib2.urlopen(url, *data, *timeout)
urlopen方法是urllib2模块最常用的方法，用于访问发送某一请求。
url参数可以是一个字符串url或者是一个Request对象。
可选参数timeout用于设置超时时间，以秒为单位。
如果没有指定，将使用设置的全局默认timeout值。
urlopen使用默认opener进行访问, 为阻塞式IO.
如果请求成功，函数将返回响应。
在data为None时默认用GET方法:
import urllib2
response = urllib2.urlopen('http://python.org/')
html = response.read()
print(html)
使用POST发送参数前需要先将参数编码:
import urllib
import urllib2
values = {
'action': 'sign-in',
'username': 'finley',
'password': '1234'
}
values = urllib.urlencode(values)
response = urllib2.urlopen('http://127.0.0.1:8080/game', values)
print(response.read())
urllib.urlencode不能直接进行Unicode编码，需要先进行转码：
urllib.urlencode (u'bl'.encode('utf-8'))
qutoe与urlencode均可以进行编码，区别在于quote的空格由%20替代而urlencode的空格由+替代。
Request
使用Request对象可以设置更多请求参数:
Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
-
url: url字符串
-
data：额外发送的数据
在data为None时默认用GET方法提交，有参数时默认用POST方法提交
示例：
import urllib
import urllib2
url = 'http://127.0.0.1:8080/game'
values = {
'action': 'sign-in',
'username': 'finley',
'password': '1234'
}
data = urllib.urlencode(values)
request = urllib2.Request(url, data)
response = urllib2.urlopen(request)
html = response.read()
cookie
为了使用cookie我们需要一个opener对象来维护cookiejar.
class BaseDriver:
def __init__(self):
self.opener = None
self.cookiejar = None
self.initOpener()
def initOpener(self):
self.cookiejar = cookielib.CookieJar()
self.opener = urllib2.build_opener(
urllib2.HTTPCookieProcessor(self.cookiejar)
)
def get_cookie(self):
for cookie in self.cookiejar:
if cookie.name == 'csrftoken':
return cookie.value
return None
def doRequest(self, action, values):
data = urllib.urlencode(values)
request = urllib2.Request(url, data)
return self.opener.open(request)
参考资料：