1、Requests库的get()方法
requests.get(url,params=None,**kwargs)
url：拟获取页面上的url链接
params：url中的额外参数，字典或字节流格式，可选
**kwargs：12个控制访问的参数
import requests r = requests.get('https://www.baidu.com') #检测状态请求的状态码 200则成功，反之则失败 print(r.status_code) #检测r的类型 type(r) #返回get请求页面的头部信息 r.headers
Response对象的属性
Response的编码
r.encoding：如果header中不存在charset,则认为编码为ISO-8859-1
r.apparent_encoding：根据网页内容分析出的编码方式
Requests库的异常
import requests def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status()#如果状态不是200，则引发 HTTPError异常 r.encoding = r.apparent_encoding return r.text except: return '产生异常' if __name__ == '__main__': url = 'http://www.baidu.com' print(getHTMLText(url))
2、HTTP协议与requests库的方法
requests库的七个方法：
HTTP协议：
HTTP,Hypertext Transfer Protocol，超文本传输协议。
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。
HTTP协议采用URL作为定位网络资源的标识。
URL格式如下
http://host[:port][path]
host：合法的Internet主机域名或ip地址
port：端口号，缺省端口为80
path：请求资源的路径
理解URL：
URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源
HTTP协议对资源的操作:
理解PATCH和PUT的区别：
假设URL位置有一组数据UserInfo(用户信息)，包括Username，UserID等20个字段
需求：用户修改Username,其他的不变
*采用PATCH,仅向URL提交Username的局部更新请求。
*采用PUT，必须将所有的20个字段一并提交到URL，未提交字段被删除。
比较得知：PATCH的最主要好处：节省网络带宽。
requests库的post()或put()方法：
如果想URL POST一个字典，则会自动编码为form（表单）.
如果想URL POST一个字符串，则会自动编码为data.
3、详解requests的七个方法
1)、requests.request(method,url,**kwargs)
method：请求方式，对应get/put/post等其中
url：拟获取页面的url链接
**kwargs：控制访问参数，共13个
**kwargs：控制访问参数，均为可选项
1)、params：字典或字节序列，作为参数增加到url中
kv = {'key1':'value1'.'key2':'value2'}
r = requests.request('GET','http://python123.io/ws',params=kv)
print(r.url)
#运行结果为https://python123.io/ws?key1=value1&key2=value2
2)、data:字典、字节序列或文件对象，作为Request的内容
3)、json：JSON格式的数据，作为Request的内容
import requests #json kv = {'key1':'value1'} r = requests.request('POST','http://python123.io/ws',json=kv)
4)、headers：字典，HTTP定制头
#headers hd = {'user-agent': 'Chrome/10'} r = requests.request('POST','http://python123.io/ws',header=hd)
5)、cookies：字典或CookieJar，Request中的cookie
6)、auth：元组，支持HTTP认证功能
7)、files：字典类型，传输文件
#files fs = {'file':open('data.xls','rb')} r = requests.request('POST','http://python123.io/ws',files=fs)
8)、timeout：设定超时时间，秒为单位
#timeout r = requests.request('GRT','http://www.baidu.com',timeout=10) #如果超过访问时间则会返回一个timeout的异常
9)、proxies：字典类型，设定访问代理服务器，可以增加登陆认证（可有效隐藏用户爬取网页的源的ip地址信息）
#proxies pxs = {'http': 'http://user:pass@10.10,10,1:1234', 'https': 'http://10,10.10.1:4321'} r = requests.request('GET','http://www.baidu.com',proxies=pxs)
10)、allow_redirects：True/False，默认为True，重定向开关
11)、stream：True/False，默认为True，获取内容立即下载开关
12)、verify：True/False，默认为True，认证SSL证书开关
13)、cert：本地SSL证书路径
2、requests.get(url,params=None,**kwargs)
url：拟获取页面上的url链接
params：url中的额外参数，字典或字节流格式，可选
**kwargs：12个控制访问的参数
3、requests.head(url,**kwargs)
url：拟获取页面上的url链接
**kwargs：13个控制访问的参数
4、requests.post(url,data=None,json=None,**kwargs)
url：拟获取页面上的url链接
data:字典、字节序列或文件对象，作为Request的内容
json：JSON格式的数据，作为Request的内容
**kwargs：11个控制访问的参数
5、requests.put(url,data=None,**kwargs)
url：拟获取页面上的url链接
data:字典、字节序列或文件对象，作为Request的内容
**kwargs：12个控制访问的参数
6、requests.patch(url,data=None,**kwargs)
url：拟获取页面上的url链接
data:字典、字节序列或文件对象，作为Request的内容
**kwargs：12个控制访问的参数
7、requests.delete(url,**kwargs)
url：拟获取页面上的url链接
**kwargs：13个控制访问的参数