Beautifulsoup学习笔记

1.导入beautifulsoup

from BeautifulSoup import BeautifulSoup

2.实例化一个soup对象

html="<html></html>"
soup = BeautifulSoup(html)

html的字符串可以通过打开本地文件或者抓取网络的html来得到

测试用的html是：

3.beautifulsoup对象

会有三种beautifulsoup对象

1）.soup对象

print type(soup)

<class 'BeautifulSoup.BeautifulSoup'>

2）.Tag对象（标签对象）

print type(soup.html)

<class 'BeautifulSoup.Tag'>

3）.string对象

print type(soup.div.string)

<class 'BeautifulSoup.NavigableString'>

4.剖析soup

　　1）.通过标签

soup=BeautifulSoup(htm)
print soup.html
print soup.body
print soup.p

可以直接通过tag获取到html，但是只会返回第一个匹配到的标签，例如有两个<p>标签，用soup.p只会返回第一个

这种方法返回的为Tag对象

　　2）contents,parent

也可以通过contents获取子元素，返回的是list,例如soup.contents[0],返回的是html节点，soup.contents[0].centents 是一个包含head标签和body标签的的列表。

奇怪的是len(soup.contents[0].contents)，是等于5的，除了head标签和body标签外，还会有三个空元素

使用contents向后遍历树，使用parent向前遍历树

　　3）next 返回子元素

print soup.div.next

i am div1

　　4）findAll

搜索提供了两个方法，一个是 find，一个是findAll。这里的两个方法(findAll和 find)仅对Tag对象以及，顶层剖析对象有效，但 NavigableString不可用。

　　findAll(name, attrs, recursive, text, limit, **kwargs)

soup.findAll('div')

[<div id="div1">i am div1</div>, <div id="div2">i am div2</div>]

print soup.findAll('div',id='div1')

[<div id="div1">i am div1</div>]

print soup.findAll('div',{'id':'div2'})

[<div id="div2">i am div2</div>]

可以以字典的形式传入attrs

pat=re.compile('divd+')
print soup.findAll('div',{'id':pat})

[<div id="div1">i am div1</div>, <div id="div2">i am div2</div>]

也可以用正则匹配

5.修改属性

pat=re.compile('divd+')
a=soup.findAll('div',{'id':pat})[0]
a['id']='ddd'
print a

修改a标签的id属性

6.访问属性

a['id']

可以以这种方法去访问属性

7.demo，剖析职级的网页，将所有需要的行为举证整理成一个excel文件

#encoding=utf-8
__author__ = 'kevinlu1010@qq.com'
import re
from BeautifulSoup import BeautifulSoup
f=open('index.htm','r')
htm=f.read()
f.close()
soup=BeautifulSoup(htm)

pat=re.compile('.+')
pat1=re.compile('行为证明'.decode('utf-8'))
btns=soup.findAll('button',{'popover':pat,'popover-title':pat1})

mybtn=[]
for btn in btns:
    mybtn.append(btn['popover'].replace('
','').replace('<br>',';').replace('<br />',';'))
for b in mybtn:
    print b

参考：http://www.leeon.me/upload/other/beautifulsoup-documentation-zh.html

http://rsj217.diandian.com/post/2012-11-01/40041235132