安装
pip install requests-html
使用
官方文档：https://pypi.org/project/requests-html/
获取网页
requests-html和其他解析HTML库最大的不同点在于HTML解析库一般都是专用的，所以我们需要用另一个HTTP库先把网页下载下来，然后传给那些HTML解析库。而requests-html既可以下载网页，又能解析网页。
返回的对象r是requests.Reponse类型，更确切的说是继承自前者的requests_html.HTMLResponse类型。这里其实和requests库的使用方法差不多，获取到的响应对象其实其实也没啥用，这里的关键就在于r.html这个属性，它会返回requests_html.HTML这个类型，它是整个requests_html库中最核心的一个类，负责对HTML进行解析。
from requests_html import HTMLSession session = HTMLSession() url = "https://www.jianshu.com/u/18d731821bfc" r = session.get(url=url) print(r.html.html)
得到网页中的所有链接：
# 相对路径 print(r.html.links) # 绝对路径 print(r.html.absolute_links)
获取元素
request-html支持CSS选择器和XPATH两种语法来选取HTML元素。首先先来看看CSS选择器语法，它需要使用HTML的find函数，该函数有5个参数，作用如下：
- selector，要用的CSS选择器；
- clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
- containing，如果设置该属性，会返回包含该属性文本的标签；
- first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
- _encoding，编码格式。
下面是几个简单例子:
# 首页菜单文本 print(r.html.find('div#menu', first=True).text) # 首页菜单元素 print(r.html.find('div#menu a'))
文本内容
e = r.html.find("div.title", first=True) print(e.text)
要获取元素的attribute，用attr属性
print(e.attrs)
获取元素的html代码
print(e.html)
文本搜索，用search函数
print(e.search('还是{}没头脑')[0])
然后是XPATH语法，这需要另一个函数xpath的支持，它有4个参数如下：
- selector，要用的XPATH选择器；
- clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
- first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
- _encoding，编码格式。
还是上面的例子，不过这次使用XPATH语法：
print(r.html.xpath("//div[@id='menu']", first=True).text) print(r.html.xpath("//div[@id='menu']//a"))
JavaScript支持
有些网站是使用JavaScript渲染的，这样的网站爬取到的结果只有一堆JS代码，这样的网站requests-html也可以处理，关键一步就是在HTML结果上调用一下render函数，它会在用户目录（默认是~/.pyppeteer/）中下载一个chromium，然后用它来执行JS代码。
下载过程只在第一次执行，以后就可以直接使用chromium来执行了。
r.html.render()
render函数还有一些参数，顺便介绍一下（这些参数有的还有默认值，直接看源代码方法参数列表即可）：
- retries: 加载页面失败的次数
- script: 页面上需要执行的JS脚本（可选）
- wait: 加载页面钱的等待时间（秒），防止超时（可选）
- scrolldown: 页面向下滚动的次数
- sleep: 在页面初次渲染之后的等待时间
- reload: 如果为假，那么页面不会从浏览器中加载，而是从内存中加载
- keep_page: 如果为真，允许你用r.html.page访问页面
比如说简书的用户页面上用户的文章列表就是一个异步加载的例子，初始只显示最近几篇文章，如果想爬取所有文章，就需要使用scrolldown配合sleep参数模拟下滑页面，促使JS代码加载所有文章。
自定义请求
自定义用户代理
有些网站会使用UA来识别客户端类型，有时候需要伪造UA来实现某些操作。可以防止封ip。
from pprint import pprint # 提供了可以按照某个格式正确的显示python已知类型数据的一种方法 import json pp_r = session.get('http://httpbin.org/get') pprint(json.loads(pp_r.html.html))
返回的结果如下：
{'args': {},
'headers': {'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate',
'Host': 'httpbin.org',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) '
'AppleWebKit/603.3.8 (KHTML, like Gecko) '
'Version/10.1.2 Safari/603.3.8'},
'origin': '150.95.184.46, 150.95.184.46',
'url': 'https://httpbin.org/get'}
这里的UA是requests-html自带的UA，下面换一个UA：
ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0' ppp_r = session.get('http://httpbin.org/get',headers={'user-agent': ua}) pprint(json.loads(ppp_r.html.html))
看到UA确实发生了变化：
{'args': {},
'headers': {'Accept': '*/*',
'Accept-Encoding': 'gzip, deflate',
'Host': 'httpbin.org',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) '
'Gecko/20100101 Firefox/62.0'},
'origin': '150.95.184.46, 150.95.184.46',
'url': 'https://httpbin.org/get'}
模拟表单登陆
post请求
r = session.post('http://httpbin.org/post', data={'username': 'python', 'passwd': 123456}) pprint(json.loads(r.html.html))
实例：爬自己博客园所有文章标题
from requests_html import HTMLSession base_url = 'https://www.cnblogs.com/lfri/default.html?page=' id = 0 def get_title(url): global id #在函数内部修改全局变量的值，要先用global声明全局变量。 session = HTMLSession() r = session.get(url) r.html.render(scrolldown=10, sleep=.1) titles = r.html.find('a.postTitle2') #print(len(titles)) for i, title in enumerate(titles): print(f'{id} [{title.text}]({title.attrs["href"]})') id = id + 1 if __name__ == '__main__': for x in range(1,74): print('当前页面: '+ str(x)) get_title(base_url+str(x))