python urllib2 cookie 设置

在模拟登录一些平台后,在抓取平台数据时需要将cookie设置到urllib2中,python有一个自己的cookielib库,可实现cookie的设置

#!/usr/bin/env python
#-*- coding: utf-8 -*-

import urllib2
import cookielib

#获取一个保存cookie的对象
cj = cookielib.LWPCookieJar()
#将一个保存cookie对象,和一个HTTP的cookie的处理器绑定
cookie_support = urllib2.HTTPCookieProcessor(cj)
#创建一个opener,将保存了cookie的http处理器,还有设置一个handler用于处理http的URL的打开
opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
#将包含了cookie、http处理器、http的handler的资源和urllib2对象板顶在一起
urllib2.install_opener(opener)

login_url = "登录url"
data_url = "需要抓取数据的url"


#登录请求
LoginRequest = urllib2.Request(login_url)
LoginResponse = urllib2.urlopen(LoginRequest)

#抓取数据请求
DataRequest = urllib2.Request(data_url)
DataResponse = urllib2.urlopen(DataResponse)
原文地址:https://www.cnblogs.com/jeesezhang/p/3611530.html