1、Requests的目的：让HTTP服务人类
python的标准库中urllib模块包含了平常我们使用的大多数功能，但是它的API使用起来让人感觉不太好，而Requests自称"HTTP for Humans",让使用更简洁方便。
Requests 继承了urllib的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。
requests的底层实现其实就是urllib，且能满足当前网络的需求。
开源地址：https://github.com/psf/requests
中文文档：https://requests.readthedocs.io/zh_CN/latest/
2、安装方式
`pip install requests`
`easy_install requests`
3、基本GET请求（headers参数和params参数）
3.1 最基本的GET请求可以直接用get方法
import requests response = requests.get("https://www.baidu.com")
# 也可以这么写
# response = requests.request("get","https://www.baidu.com") print(response.status_code)
3.2 添加headers和查询参数
import requests url = "https://www.baidu.com" kw = {"wd":"长城"} headers = { "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36" } # params 接收一个字典或字符串的查询参数，字典类型自动转换为url编码，不需要urlencode() response = requests.get(url,headers=headers,params=kw) # 查看响应内容，response.text,返回的是unicode格式的数据 print(response.text) # 查看完整的url地址 print(response.url) # 查看响应头部字符编码 print(response.encoding) # 查看响应头码 print(response.status_code) # 查看请求头 print(response.request.headers) # 查看响应内容,response.content.decode() print(response.content.decode())
4、基本POST请求(data参数)
4.1 最基本post方法
import requests data = { "pn":1 } response = requests.post("http://www.baidu.com",data=data) print(response.text)
4.2 传入data数据
对于 POST 请求来说，我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。
import requests headers={} data = {} response = requests.post(url,data=data,headers=headers) print(response.text) # 如果post返回的是一个json文件，则response.json()可以直接显示 print(response.json())
5、代理（proxies参数）
如果需要使用代理，可以通过为任意请求方法通过`proxies`参数来配置单个请求。
import requests # 根据协议类型，选择不同的代理 proxies = { "http":"http://12.32.3.4:5825", "https":"https://21.3.43.5:4582", } response = requests.get(url,proxies=proxies) print(response.text)
也可以通过本地环境变量`HTTP_PROXY`和`HTTPS_PROXY`来配置代理:
export HTTP_PROXY="http://12.32.33.23:7878" export HTTPS_PROXY="https://12.32.2.3:3454"
5.1 私密代理验证（特定的格式）
import requests # 如果代理需要使用HTTP Basic Auth，可以使用下面这种格式： proxy = { "http": "xxxxx:lalala@61.158.163.130:16816" } response = requests.get("http://www.baidu.com", proxies = proxy) print (response.text)
5.2 web客户端验证（auth参数）
web客户端验证，需要添加auth=(账号名，密码)
import requests auth=('test', '123456') response = requests.get('http://192.168.199.107', auth = auth) print (response.text)
6、Cookies和Session
6.1 Cookies
如果一个响应中包含了cookie，那么我们可以利用cookies参数拿到
import requests response = requests.get("https://www.baidu.com") # 返回CookieJar对象 cookiejar = response.cookies print(cookiejar) # <RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]> # 将CookieJar转为字典 cookiedict = requests.utils.dict_from_cookiejar(cookiejar) print(cookiedict) #{'BDORZ': '27315'}
6.2 session
在requests里，session对象是一个非常常用的对象，这个对象代表一次用户会话：从客户端浏览器连接服务器开始，到客户端浏览器与服务器断开。
会话能让我们在跨请求时保持某些参数，比如在同一个Session实例发出的所有请求之间保持cookie。
import requests # 创建session对象，可以保存Cookie值 session_ = requests.session() # 处理headers headers = { "headers": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36", } # 需要登录的用户名和密码 data = { "email":"xxxx@qq.com", "password":"lalala" } url_domain = "http://www.renren.com/SysHome.do" # 发送附带用户名和密码的请求，并获取登陆后的cookie值，保存在session_里 session_.post(url_domain,data=data,headers=headers) # session_包含用户登录后的cookie值，可以直接访问那些登录后才可以访问的页面 url = "http://www.renren.com/4100431223/profile" response = session_.get(url) print(response.text)
7、处理HTTPS请求SSL证书验证
Requests可以为HTTPS请求验证SSL证书:
（1）想要检查某个主机的SSL整数,可以使用verify参数（可以不写，默认verify=True）
import requests response = requests.get("https://www.baidu.com",verify=True) print(response.content.decode())
（2）如果SSL证书验证不通过，或者不信任服务器的安全证书，则会报出SSLError
SSLError: ("bad handshake: Error([('SSL routines','ssl3_get_server_certificate', 'certificate verify failed')],)",)
（3）如果想跳过该网站的证书验证，把verify设置为False就可以正常请求了
r = requests.get(url,verify=False)