对于一个最简单的爬虫结构的代码是这样的。
也就是抓取出整个页面，然后创建一个BeautifulSoup对象。
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html")
bsObj = BeautifulSoup(html)
find()和findAll()
这两个函数非常相似，是用来通过标签的不同属性来过滤HTML页面，查找需要的标签组或单个标签的。BeautifulSoup文档里两者的定义就是这样：
findAll(tag, attributes, recursive, text, limit, keywords)
find(tag, attributes, recursive, text, keywords)
标签参数tag
你可以传一个标签的名称或多个标签名称组成的Python列表做标签参数。比如：
bsObj.findAll({"h1","h2","h3","h4"})
属性参数attributes
它是用一个Python字典封装一个标签的若干属性和对应的属性值。比如，下面这个函数会返回HTML文档里红色和绿色两种颜色的span标签：
bsObj.finaAll("span",{"class":{"green", "red"}})
递归参数recursive
它是一个布尔变量。如果设置为True，findAll就会根据你的要求去查找标签参数的所有子标签，以及子标签的子标签。如果设置为False，findAll就只查找文档的一级标签。默认是支持递归查找的，所以一般这个参数不需要设置。
文本参数text
它是用标签的文本去匹配，而不是用标签的属性。比如：
nameList = bsObj.findAll(text="the prince")
print(len(nameList))
范围限制参数limit
find()其实等价于findAll()的limit等于1时的情形。如果你只对网页中获取的前n项结果感兴趣，就可以设置它。
关键词参数keyword
它可以让你选择那些具有指定属性的标签。比如：
allText=bsObj.findAll(id="text")
print(allText[0].get_text())
但是，keyword偶尔会出现问题，尤其是在用class属性查找标签的时候，因为class是Python中受保护的关键字。但是可以用BeautifulSoup提供的另一种方案，在class后面增加一个下划线。
# 错误
bsObj.findAll(class="green")
# 正确
bsObj.findAll(class_="green")
bsObj.findAll("",{"class":"green"})
get_text()
get_text()会把正在处理的HTML文档中所有的标签都清楚，然后返回一个只包含文字的字符串。
通常在你准备打印、存储和操作数据时，应该最后才使用get_text()。一般情况下，你应该尽可能地保留HTML文档的标签结构。
导航树
如果需要通过标签在文档中的位置来查找标签，那么就要用到导航树（Navigating Trees）。
以虚拟的在线购物网站作为要抓取的示例网页，这个HTML页面可以映射成一棵树，如下所示：
-body
-div.wrapper
-h1
-div.content
-table#giftList
-tr
-th
-th
-th
-th
-tr.gift#gitf1
-td
-td
-span.excitingNote
-td
-td
-img
-……其他表格行省略了……
-div.footer
子标签与后代标签
在BeautifulSoup库里，孩子(child)和后代(descendant)有显著的不同。
子标签就是一个父标签的下一级，而后代标签是指一个父标签下面所有级别的标签。
比如，tr标签是table标签的子标签，而tr、th、td、img和span标签都是table标签的后代标签。
也就是所有的子标签都是后代标签，但不是所有的后代标签都是子标签。
如果只想找出子标签，可以使用children()函数：
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/page3.html")
bsObj = BeautifulSoup(html)
for child in bsObj.find("table",{"id":"giftList"}).children:
print(child)
这段代码会打印gitfList表格中所有产品的数据行。
而如果使用的是descendants()函数就会有二十几个标签打印出来，包括img标签等。
兄弟标签
next_siblings()函数可以让收集表格数据成为简单的事情，尤其是处理带标题行的表格：
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/page3.html")
bsObj = BeautifulSoup(html)
for sibling in bsObj.find("table",{"id":"giftList"}).tr.next_siblings:
print(sibling)
这段代码会打印产品列表里所有行的产品，第一行表格标题除外。因为自己不能是自己的兄弟标签，而且这个函数只调用后面的兄弟标签。
如果一组兄弟标签里的最后一个标签比较好找，也可以用previous_siblings()函数。
获取标签属性
有时候我们需要的数据在标签属性里，那么我们可以使用下面的代码获取它的全部属性：
myTag.attrs
这行代码返回的是一个Python字典对象，可以获取和操作这些属性。
比如要获取图片的资源位置src，可以这样使用：
myImgTag.attrs["src"]
【参考】
[1]《Python网络数据收集》Ryan Mitchell