BeautifuSoup入门

Beautiful Soup库是一个解析HTML文件的优秀的库。

解析，遍历，维护“标签树”的功能库。

安装：

　　pip安装：　　pip install beautifulsoup4

　　conda安装　　conda install beautifulsoup4

导入：

　　from bs4 import BeautifulSoup

对BeautifulSoup类的理解：

　　一个BeautifulSoup对象对应一个HTML/XML文档的全部内容。

　　soup = BeautifulSoup(open('D://demo.html'),'html.parser')
　　soup2 = BeautifulSoup('<html>data</html>','html.parser')
　　r= requests.get('www.baiidu.com')
　　soup3 = BeautifulSoup(r.text,'html.parser')

　　对soup对象调用prettify()可以将HTML按格式展示出来，方便阅读

　　import requests
　　from bs4 import BeautifulSoup
　　r = requests.get('https://www.baidu.com/')
　　r.encoding = r.apparent_encoding
　　demo = r.text
　　soup = BeautifulSoup(demo, 'html.parser')
　　print(soup.prettify())

　　以baidu为例

　　打印出来的其实就是baidu的源代码。

　　后面跟的 html.parser 是指定用bs4的HTML解析器对网页解析，可以指定别的解析器

BeautifulSoup类的基本元素：

基本元素	说明
Tag	标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾
Name	标签的名字，<p>...</p>的名字是‘p’,格式:<tag>.name
Attributes	标签的属性，字典形式组织，格式:<tag>.attrs
NavigableString	标签内非属性字符串，<>...</>中的字符串，格式:<tag>.string
Comment	标签内字符串的注释部分，一种特殊的Comment类型

　　以 http://python123.io/ws/demo.html 为例

>>> r = requests.get('http://python123.io/ws/demo.html')
         
>>> demo=r.text
         
>>> soup = BeautifulSoup(demo, 'html.parser')
         
>>> print(soup.prettify())
         
<html>
 <head>
  <title>
   This is a python demo page
  </title>
 </head>
 <body>
  <p class="title">
   <b>
    The demo python introduces several python courses.
   </b>
  </p>
  <p class="course">
   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">
    Basic Python
   </a>
   and
   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">
    Advanced Python
   </a>
   .
  </p>
 </body>
</html>

　　Tag标签

>
>>> tag = soup.a
         
>>> tag
         
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>
>>> soup.body
         
<body>
<p class="title"><b>The demo python introduces several python courses.</b></p>
<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>
</body>
>>>

　　Tag的name(返回字符串):

>>> tag.name
         
'a'
>>> soup.body.name
         
'body'
>>> soup.a.parent.name
         
'p'
>>> soup.a.parent.parent.name
         
'body'

　　Tag的attrs（返回字典类型，一个tag可以有多个属性）：

>>> tag = soup.a
         
>>> tag
         
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>
>>> tag.attrs
         
{'href': 'http://www.icourse163.org/course/BIT-268001', 'class': ['py1'], 'id': 'link1'}
>>> tag.attrs['href']
         
'http://www.icourse163.org/course/BIT-268001'

　　Tag的NavigableString（可以跨越多个层次，留意p标签）

>>> soup.a
         
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>
>>> soup.a.string
         
'Basic Python'
>>> soup.p
         
<p class="title"><b>The demo python introduces several python courses.</b></p>
>>> soup.p.string
         
'The demo python introduces several python courses.'
>>> type(soup.a.string)
         
<class 'bs4.element.NavigableString'>

　　Tag的Comment（注释类，用type区分于NavigableString）:

>>> newsoup = BeautifulSoup('<b><!--This is a comment--></b><a>This is not a comment</a>', 'html.parser')
         
>>> newsoup.b.string
         
'This is a comment'
>>> type(newsoup.b.string)
         
<class 'bs4.element.Comment'>
>>> newsoup.a.string
         
'This is not a comment'
>>> type(newsoup.a.string)
         
<class 'bs4.element.NavigableString'>

标签树的遍历：

　　下行遍历

属性	说明
.contents	子节点的列表，将<tag>所有的儿子节点存入列表
.children	子节点的迭代类型，与.content类似，用于循环遍历儿子节点
.descendants	子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

　　上行遍历

属性	说明
.parent	节点的父亲标签
.parents	节点先辈标签的迭代类型，用于循环遍历先辈节点

　　平行遍历

属性	说明
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_silblings	迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings	迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

bs4库的编码

　　bs4库将任何HTML输入都变成utf-8编码

基于bs4库的HTML内容查找方法

<>.find_all(name, attrs, recursive, string, **kwargs)

- name　　：对标签名称的检索字符串
- attrs　　：对标签属性值的检索字符串，可标注属性检索
- recursive ：是否对子孙全部检索，默认True　
- string　　：<>...</>中字符穿区域的检索字符串

　　<tag>(..) 等价与 <tag>.fing_all(..)

　　soup(..)　等价于 soup.find_all(..)

扩展方法

方法	说明
<>.find()	搜索且只返回一个结果，同.find_all()参数
<>.find_parents()	在先辈节点中搜索，返回列表类型，同.find_all()参数
<>.find_parent()	在先辈节点中返回一个结果，同.find()参数
<>.find_next_siblings()	在后续平行节点中搜索，返回列表类型，同.find_all()参数
<>.find_next_sibling()	在后续平行节点中返回一个结果，同.find()参数
<>.find_previous_siblings()	在前序平行节点中搜索，返回列表类型，同.find_all()参数
<>.find_previous_sibling()	在前序平行节点中返回一个结果，同.find()参数