爬虫之BeautifulSoup (三)

简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：

'''
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。
'''

安装

#安装 Beautiful Soup
pip install beautifulsoup4

#安装解析器
Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml .根据操作系统不同,可以选择下列方法来安装lxml:

$ apt-get install Python-lxml

$ easy_install lxml

$ pip install lxml

另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:

$ apt-get install Python-html5lib

$ easy_install html5lib

$ pip install html5lib

   解析器

简单使用

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="sister"><b>$37</b></p>

<p class="story" id="p">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" >Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""


# 方式一:
# soup = BeautifulSoup(html_doc, "lxml")
# print(soup)

# 方式二:
# soup = BeautifulSoup(open('a.html'), "lxml")
# print(soup)


soup = BeautifulSoup(html_doc, "lxml")
# print(soup)

# 自动补全
soup.prettify()

print(soup.p)
# 获取p标签下的b标签
print(soup.p.b)
#  获取p标签下的b标签下的文本
print(soup.p.b.text)

# 找body内的所有标签
print(soup.body.contents)

# 获取p标签属性
print(soup.p.attrs)

# 获取p标签的孩子， 返回一个iter对象
print(list(soup.p.children))

# 获取p标签的子子孙孙
print(list(soup.p.descendants))

# 获取p标签的爸爸
print(soup.p.parent)

# 获取p标签的爸爸， 获取p标签的爸爸的爸爸， 获取p标签的爸爸的爸爸的爸爸
print(list(soup.p.parents))

# 获取a标签内的href属性
print(soup.a.attrs['href'])

搜索文档树

from bs4 import BeautifulSoup
html_doc ="""

<html><head><title>The Dormouse's story</title></head>
<body>
<p class="sister"><b>$37</b></p>

<p class="story" id="p">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" >Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
# 搜索文档树
# 1.文本查找
# 通过文本查找p标签
soup = BeautifulSoup(html_doc, "lxml")
# print(soup)

# 自动补全
soup.prettify()
print(soup.find_all(name='p'))

# 通过文本查找文本为$37的p标签
print(soup.find_all(name='p', text='$37'))

# 通过文本查找id为link3的a标签
print(soup.find_all(name='a', attrs={"id": "link3"}))

import re
# 2.正则查找
# 通过正则查找所有p标签
print(soup.find_all(name=re.compile("^p")))

# 通过正则查找所有a标签
print(soup.find_all(name=re.compile("^a")))

# 通过正则查找所有id为link的p标签
print(soup.find_all(name="p", attrs={"id": re.compile("^link")}))

# 通过正则查找所有id为link的a标签
print(soup.find_all(name="a", attrs={"id": re.compile("^link")}))

# 通过正则查找所有class为story的p标签
print(soup.find_all(name="p", attrs={"class": re.compile("story")}))

# 3.列表
# 通过列表查找所有的a、p标签
print(soup.find_all(name=['p', 'a']))

# 通过列表查找所有的正则匹配有Elsie的文本
print(soup.find_all(text=[re.compile("Elsie")]))

# 通过列表查找所有的正则匹配有Elsie的文本的a标签
print(soup.find_all(name=['a'], text=[re.compile("Elsie")]))


# 4.True
# 获取所有标签
print(soup.find_all(name=True))

# 获取所有有id的a标签
print(soup.find_all(name="a", attrs={"id": True}))

# # 获取所有有class的a标签
print(soup.find_all(name="a", attrs={"class": True}))


# 5.方法
def have_id_not_class(a):
    # if tag.has_attr('id') and not tag.has_attr('class'):
    #     return tag
    if a.has_attr('class') and not a.has_attr('id'):
        return a

# 通过方法查找所有有class没id的标签
print(soup.find_all(have_id_not_class))

给新热抽屉网1-100页所有用户点赞

import requests

# 一: 访问主页获取cookies
index_res = requests.get('https://dig.chouti.com/', headers={
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
})
# print(index_res.cookies.get_dict())
index_cookies = index_res.cookies.get_dict()

'''
url:
    https://dig.chouti.com/login

method:
    POST

headers:
    user-agent:
    referer:
    cookie

form_data:
    phone: 8615622792660
    password: k46709394
    oneMonth: 1

'''

# 二 携带主页的cookies进行登陆
login_url = 'https://dig.chouti.com/login'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
'referer': 'https://dig.chouti.com/',
}

form_data = {
    'phone': '8615622792660',
    'password': 'k46709394',
    'oneMonth': '1'
}

# 往登陆连接发送post请求进行登陆
login_res = requests.post(login_url, cookies=index_cookies, headers=headers, data=form_data)
print(login_res)

# 登陆成功返回文本
print(login_res.text)

# 对Id=25068561的用户进行点赞
# vote_res = requests.post('https://dig.chouti.com/link/vote?linksId=25068561', headers=headers, cookies=index_cookies)
# print(vote_res.text)

'''
url：
    https://dig.chouti.com/all/hot/recent/1
headers:
'''
from bs4 import BeautifulSoup

# 循环拼接1-100页的 特推 页面
for line in range(1, 100):
    hot_url = 'https://dig.chouti.com/all/hot/recent/%s' % line
    # 往特推页面发送get请求获取当前页所有用户
    hot_res = requests.get(hot_url, headers=headers, )
    # print(hot_res.text)

    soup = BeautifulSoup(hot_res.text, 'lxml')

    # 通过bs4获取到所有id为content-list用户特推的div标签
    div_1 = soup.find(name='div', attrs={"id": "content-list"})
    # print(div_1)

    # # 通过bs4获取到所有class为item的用户特推的div标签
    div_s = soup.find_all(name='div', attrs={"class": "item"})
    for div in div_s:
        # 获取所有用户的id
        # 通过bs4查找到class为part2的div，然后获取属性中的share-linkid进而获取id值
        id = div.find(name='div', attrs={"class": "part2"}).get("share-linkid")
        # print(id)
        # 对所有用户进行点赞
        vote_res = requests.post('https://dig.chouti.com/link/vote?linksId=%s' % id, headers=headers,
                                 cookies=index_cookies)
        print(vote_res.text)
        '''
        {"result":{"code":"9999", "message":"推荐成功", "data":{"jid":"cdu_53191784515","likedTime":"1552034126796000","lvCount":"6","nick":"人生苦短灬及时行乐","uvCount":"430","voteTime":"小于1分钟前"}}}
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/sima-3/p/11077711.html