增量式爬虫

一、增量式爬虫

概念：通过爬虫程序监测某网站数据更新的情况，以便可以爬取到该网站更新出的新数据。

• 如何进行增量式的爬取工作：
  • 在发送请求之前判断这个URL是不是之前爬取过
  • 在解析内容后判断这部分内容是不是之前爬取过
  • 写入存储介质时判断内容是不是已经在介质中存在
    • 分析：

            不难发现，其实增量爬取的核心是去重， 至于去重的操作在哪个步骤起作用，只能说各有利弊。在我看来，前两种思路需要根据实际情况取一个（也可能都用）。第一种思路适合不断有新页面出现的网站，比如说小说的新章节，每天的最新新闻等等；第二种思路则适合页面内容会更新的网站。第三个思路是相当于是最后的一道防线。这样做可以最大程度上达到去重的目的。

• 去重方法
  • 将爬取过程中产生的url进行存储，存储在redis的set中。当下次进行数据爬取时，首先对即将要发起的请求对应的url在存储的url的set中做判断，如果存在则不进行请求，否则才进行请求。
  • 对爬取到的网页内容进行唯一标识的制定，然后将该唯一表示存储至redis的set中。当下次爬取到网页数据的时候，在进行持久化存储之前，首先可以先判断该数据的唯一标识在redis的set中是否存在，在决定是否进行持久化存储。

二.项目案例

1、  需求：爬取4567tv网站中所有的电影详情数据。-- url去重

将爬取过程中产生的url进行存储，存储在redis的set中。下次爬取时判断是否存在

爬虫文件：

# -*- coding: utf-8 -*-
import scrapy
from redis import Redis
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from moviePro.items import MovieproItem


class MovieSpider(CrawlSpider):
    name = 'movie'
    # allowed_domains = ['ww.xxx.com']
    start_urls = ['http://www.4567tv.tv/frim/index7-11.html']

    rules = (
        Rule(LinkExtractor(allow=r'/frim/index7-d+.html'), callback='parse_item', follow=True),
    )

    # 创建redis链接对象
    conn = Redis(host='127.0.0.1', port=6379)
    def parse_item(self, response):
        # 解析出详情也的url
        a_list = response.xpath('//li[@class="col-md-6 col-sm-4 col-xs-3"]/div[1]/a[1]')
        for a in a_list:
            detail_url = 'https://www.4567tv.tv' + a.xpath('./@href').extract_first()
            # sadd(set,value) 向set集合中添加的元素已经存在集合了ex==0，反之则不存在并添加进集合
            ex = self.conn.sadd('movie_urls', detail_url)
            if ex == 0:
                print('暂无最新数据可爬取......')
            else:
                print('有最新数据的更新......')
            yield scrapy.Request(url=detail_url, callback=self.parse_detail)

    def parse_detail(self, response):
        name = response.xpath("/html/body/div[1]/div/div/div/div[2]/h1/text()").extract_first()
        kind = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[1]/a[1]/text()').extract_first()
        item = MovieproItem()
        item['name'] = name
        item['kind'] = kind

        yield item

管道文件：

class MovieproPipeline(object):
    def process_item(self, item, spider):
        conn = spider.conn
        dic = {
            'name': item['name'],
            'kind': item['kind']
        }
        conn.lpush('movieData', dic)
        # 注意redis版本，有的不支持字典的存储，要更新
        # pip install -U redis==2.10.6
        return item

2、 需求：爬取糗事百科中的段子和作者数据。--爬取的数据去重

对爬取到的网页内容进行唯一标识的制定，然后将该唯一表示存储至redis的set中。

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from redis import Redis
from ..items import QiubaiproItem
import hashlib


class QiubaiSpider(CrawlSpider):
    name = 'qiubai'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['https://www.qiushibaike.com/text/']
    conn = Redis(host='127.0.0.1',port=6379)
    rules = (
        Rule(LinkExtractor(allow=r'/text/page/d+/'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        # print(response)
        div_list = response.xpath('//div[@id="content-left"]/div')

        for div in div_list:
            item = QiubaiproItem()
            item['author'] = div.xpath('./div[1]/a[2]/h2/text()').extract_first()
            item['content'] = div.xpath('.//div[@class="content"]/span//text()').extract()
            item['content'] = ''.join(item['content'])
            data = item['author'] + item['content']

            # 对数据生成一个数据指纹
            data_hash = hashlib.sha256(data.encode()).hexdigest()
            ex = self.conn.sadd('if_data', data_hash)  # 返回1，集合中不存在
            if ex == 1:   
                print('数据更新，可爬......')
                yield item
            else:
                print('暂无更新数据......')

管的文件：

class QiubaiproPipeline(object):
    def process_item(self, item, spider):
        dic = {
            'author': item['author'],
            'content': item['content']
        }
        spider.conn.lpush('qiubaiData', dic)
        return item