爬虫-数据解析

数据解析

  • 聚焦爬虫:数据解析

  • 数据解析的原理

    • 标签定位
    • 获取标签中的数据

  • python实现数据解析的方式:

    • 正则
      • 通用性强
      • 编写复杂
      • 不能爬取带标签的文本内容
    • bs4
      • 可以爬取带标签的文本内容
      • 只能在python中使用
      • 编写简单
    • xpath
      • 通用性强
      • 编写程度简单
      • 不能爬取带标签的文本内容
    • pyquery
      • python自带的一个解析方式,不常用,通用性差

  • 使用正则进行数据解析:爬取糗事百科中的图片数据

    #使用正则进行数据解析:爬取糗事百科中的图片数据
import requests
import re,os
from urllib import request
if not os.path.exists('./qiutuLibs'):
    os.mkdir('./qiutuLibs')
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
#定义一个通用的url模板,使用%d实现更换页码
url = 'https://www.qiushibaike.com/pic/page/%d/?s=5201079'
for page in range(1,36):
    #某一个页码对应的完整的url
    new_url = format(url%page)
    #使用通用爬虫对当前url对应的一整张页面源码数据进行爬取
    page_text = requests.get(url=new_url,headers=headers).text
    #数据解析:所有的图片地址
    ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
    #re.S是正则中专门用来处理换行的
    img_src = re.findall(ex,page_text,re.S)
    for src in img_src:
        src = 'https:'+src
        #切片把路径的最后端作为图片名字
        img_name = src.split('/')[-1]
        img_path = './qiutuLibs/'+img_name
        request.urlretrieve(src,img_path)
        print(img_name,'下载成功')

bs4解析

  • 解析原理

    • 实例化一个BeautifulSoup对象,并且即将被解析的源码数据加载到该对象中
    • 调用BeautifulSoup对象中相关的属性和方法进行标签定位和数据提取

  • 环境的安装

    • pip install bs4

  • BeautifulSoup对象的实例化

    • BeautifulSoup(fp,'lxml'):是将本地的一个html文档中的源码数据加载到该对象中
    • BeautifulSoup(page_text,'lxml'):是将从互联网上获取的页面源码数据加载到该对象中

  • 引用案例

    from bs4 import BeautifulSoup
fp = open('./test.html','r',encoding='utf-8')
soup = BeautifulSoup(fp,'lxml')
#标签定位
    # soup.tagName:定位到的是源码中第一次出现的该标签
    # print(soup.div)
    # soup.find('tagName',attrName='value')属性定位
    # print(soup.find('div',class_='tang')),属性上要加下划线,返回定位的单数
    # print(soup.find_all('div',class_='tang')),属性上要加下划线,返回定位的复数
    # select('选择器'):标签,类,id,层级 选择器
    # print(soup.select('#feng'))id选择器
    # print(soup.select('.tang > ul > li'))类选择器
    # print(soup.select('.tang  li')) 空格表示的是多个层级,大于号表示一个层级
#数据提取
    # print(soup.p.string) ,获取的是标签中直系的文本内容
    # print(soup.p.text)  ,获取的是标签中所有的文本内容
    # print(soup.p.get_text()) ,获取的是标签中所有的文本内容

# 区别
	# print(soup.select('.song')[0].get_text())

#取属性
	# print(soup.img['src'])

  • 爬取三国演义小说全篇内容

    #爬取三国演义小说全篇内容
import requests
from bs4 import BeautifulSoup
url = 'http://www.shicimingju.com/book/sanguoyanyi.html'

headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}

page_text = requests.get(url=url,headers=headers).text
#数据解析,章节标题
soup = BeautifulSoup(page_text,'lxml')
a_list = soup.select('.book-mulu>ul>li>a')
fp = open('./sanguo.txt','w',encoding='utf-8')
for a in a_list:
    title = a.string
    detail_url = 'http://www.shicimingju.com'+a['href']
    #获取详情页数据
    detail_page_text = requests.get(url=detail_url,headers=headers).text
    soup = BeautifulSoup(detail_page_text, 'lxml')
    content = soup.find('div',class_="chapter_content").text
    fp.write(title+':'+content+'
')
    print(title,'下载完毕')
fp.flush()
fp.close()
#bs4缺点在于只能在python中使用,但是可以爬取带标签的文本内容

xpath解析

  • 解析原理

    • 实例化一个etree的对象,并且将页面源码数据加载到该对象中
    • 可以通过调用etree对象的xpath方法结合着不同类型的xpath表达式进行标签定位和数据提取

  • 环境安装

    • pip install lxml

  • etree对象的实例化

    • etree.parse('filePath')
    • etree.HTML(page_text)

  • xpath方法使用

    from lxml import etree #引入模块
tree = etree.parse('./test/html')
title = tree.xpath('/html/head/title')#从根节点开始一层一层的寻找指定的标签
titles = tree.xpath('//title')#不是从根节点开始寻找
#属性定位
div = tree.xpath('//div[@class="song"]')

#索引定位
li = tree.xpath('//div[@class="tang"]/ul/li[5]') #索引是从1开始
lis = tree.xpath('//div[@class="tang"]//li[5]') #索引是从1开始

#取值 /text()直系的文本内容  //text()所有的文本内容
a = tree.xpath('//div[@class="tang"]/a[1]/text()')
print(''.join(a))
divs = tree.xpath('//div[@class="song"]//text()')

#取属性
a_href = tree.xpath('//div[@class="song:]/a[1]/@href')
print(a_href[0])

  • 爬取boss中岗位的名称,薪资,公司名称

    #爬取boss中岗位的名称,薪资,公司名称
import requests
from lxml import etree
url = 'https://www.zhipin.com/c101010100/?query=java&page={}&ka=page-{}'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
fp = open('./java.txt','w',encoding='utf-8')
for page in range(1,11):
    new_url = url.format(page,page)
    page_text = requests.get(url=new_url,headers=headers).text
    #数据解析
    tree = etree.HTML(page_text)
    #数据的提取,xpath解析全局源码的内容不需要加'.'
    li_list = tree.xpath('//div[@class="job-list"]/ul/li')
    for li in li_list:
        #xpath解析指定标签局部内容需要加上'.'
        job_title = li.xpath('.//div[@class="job-title"]/text()')[0]
        salary = li.xpath('.//div[@class="info-primary"]/h3/a/span/text()')[0]
        company = li.xpath('.//div[@class="company-text"]/h3/a/text()')[0]
        fp.write(job_title+'    '+salary+'  '+company+'
')
fp.flush()
fp.close()

  • 爬取 http://pic.netbian.com/4kmeinv/ 所有的图片

    import requests
from lxml import etree
from urllib import request
import os
if not os.path.exists('./4k'):
    os.mkdir('./4k')
url = 'http://pic.netbian.com/4kmeinv/index_%d.html'

headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
#拿到页面
for page in range(1,197):
    if page == 1:
        new_url = 'http://pic.netbian.com/4kmeinv/'
    else:
        new_url = format(url%page)
    response = requests.get(url=new_url,headers=headers)
    # response.encoding='utf-8'
    page_text = response.text
    #数据解析,图片地址
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//div[@class="slist"]/ul/li')
    for li in li_list:
        img_src = 'http://pic.netbian.com' + li.xpath('./a/img/@src')[0]
        img_name = li.xpath('./a/img/@alt')[0]+'.jpg'
        img_name = img_name.encode('iso-8859-1').decode('gbk')
        img_path = './4k/'+img_name
        request.urlretrieve(img_src,img_path)
        print(img_name,'下载成功')

  • 爬取全国城市的名称https://www.aqistudy.cn/historydata/

    #爬取全国城市的名称https://www.aqistudy.cn/historydata/
import requests
from lxml import etree
url = 'https://www.aqistudy.cn/historydata/'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
page_text = requests.get(url=url,headers=headers).text
#数据解析:全国城市名称和热门城市名称
tree = etree.HTML(page_text)
# host_city_name = tree.xpath('//div[@class="bottom"]/ul/li/a/text()')
# all_city_name = tree.xpath('//div[@class="bottom"]/ul/div[2]/li/a/text()')
#xpath表达式可以使用按位或"|"的方式多个合成一个,拓展性强
city_name = tree.xpath('//div[@class="bottom"]/ul/li/a/text() | //div[@class="bottom"]/ul/div[2]/li/a/text()')
print(city_name)

  • 爬取58二手房的房源信息(房屋名称,价格,概况(存在于详情页中的))

    # 爬取58二手房的房源信息(房屋名称,价格,概况(存在于详情页中的))
import requests
from lxml import etree
#创建一个url模板
url = 'https://bj.58.com/shahe/ershoufang/pn%d/'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
for page in range(1,3):
    new_url = format(url%page)
    page_text = requests.get(url=new_url,headers=headers).text
    # 数据解析:详情页的url,房屋名称和价格
    tree = etree.HTML(page_text)
    li_list = tree.xpath('/html/body/div[5]/div[5]/div[1]/ul/li')
    for li in li_list:
        title = li.xpath('./div[@class="list-info"]/h2/a/text()')[0]
        #//text()会拿到所有的文本数据,使用join拼接转换为字符串操作
        price = ''.join(li.xpath('./div[3]//text()'))
        detail_url = li.xpath('./div[2]/h2/a/@href')[0]
        # 对详情页发起请求获取源码数据并且解析出概述对应的数据值
        detail_page_text = requests.get(url=detail_url,headers=headers).text
        detail_tree = etree.HTML(detail_page_text)
        desc = ''.join(detail_tree.xpath('//*[@id="generalSituation"]//text()'))
        print(title,price,desc)

  • http://sc.chinaz.com/tupian/rentiyishu.html 当前页中所有的图片进行下载,懒加载

    # http://sc.chinaz.com/tupian/rentiyishu.html 当前页中所有的图片进行下载,懒加载
import requests
from lxml import etree

url = 'http://sc.chinaz.com/tupian/rentiyishu.html'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
#获取页面文本数据
response = requests.get(url=url,headers=headers)
#图片涉及2进制,需要使用指定utf8编码,再text,解决乱码
response.encoding='utf-8'
page_text = response.text
#解析页面数据（获取页面中的图片链接）
#创建etree对象
tree = etree.HTML(page_text)
div_list = tree.xpath('//*[@id="container"]/div')
#解析获取图片地址和图片的名称
for div in div_list:
    image_url = div.xpath('.//img/@src2')#src2伪属性
    image_name = div.xpath('.//img/@alt')
    print(image_url)  # 打印图片链接
    print(image_name)  # 打印图片名称
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/Godisgirl/p/11017368.html