动态爬虫
在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值。
selenium在scrapy中使用的原理分析
当引擎将国内板块url对应的请求提交给下载器后，下载器进行网页数据的下载，然后将下载到的页面数据，封装到response中，提交给引擎，引擎将response在转交给Spiders。Spiders接受到的response对象中存储的页面数据里是没有动态加载的新闻数据的。要想获取动态加载的新闻数据，则需要在下载中间件中对下载器提交给引擎的response响应对象进行拦截，切对其内部存储的页面数据进行篡改，修改成携带了动态加载出的新闻数据，然后将被篡改的response对象最终交给Spiders进行解析操作。
使用流程: 1.在爬虫文件中实例化一个浏览器对象 2.重写爬虫类父类一方法closed,在刚方法中关闭浏览器对象 3.在下载中间件中process_response中: a:获取爬虫文件中实例化好的浏览器对象 b:执行浏览器自动化的行为动作 c:实例化了一个新的响应对象,并且将浏览器获取的页面源码数据加载到了该对象中 d:返回这个新的响应对象
实操和代码
创建爬虫应用
cmd中
scrapy startproject wangyinewPro
cd wangyinewPro
scrapy genspider news ww.x.com
爬虫文件news.py
# -*- coding: utf-8 -*- import scrapy from wangyinewPro.items import WangyinewproItem from selenium import webdriver from aip import AipNlp class NewsSpider(scrapy.Spider): # 百度AI APP_ID = '15426368' API_KEY = '9KgKVwSwyEyqsENo9aSfbyW8' SECRET_KEY = 'cKOt09e3EGpMq8uNy65x2hXru26H9p5G ' client = AipNlp(APP_ID, API_KEY, SECRET_KEY) name = 'news' # allowed_domains = ['ww.x.com'] start_urls = ['https://news.163.com/'] news_url = [] # 四大板块的url def __init__(self): # 实例化selenium的谷歌浏览器对象 self.bro = webdriver.Chrome(executable_path=r'F:爬虫chromedriver.exe') def close(self, response): self.bro.quit() def parse(self, response): # 获取指定板块的连接(国内,国际,军事,航空) li_list = response.xpath('//div[@class="ns_area list"]/ul/li') # 新闻版块的标签 indexs = [3, 4, 6, 7] new_li_list = [] # 获取四大板块 for index in indexs: new_li_list.append(li_list[index]) # 将四大板块对应的li标签进行解析（详情页的超链） for li in new_li_list: new_url = li.xpath('./a/@href').extract_first() # 超链获得 self.news_url.append(new_url) # 添加4大板块的url print(self.news_url) yield scrapy.Request(url=new_url, callback=self.pares_news) def pares_news(self, response): div_list = response.xpath('//div[@class="ndi_main"]/div') # 获得所有新闻的div标签列表 for div in div_list: item = WangyinewproItem() item['title'] = div.xpath('./a/img/@alt').extract_first() # 获取标题 item['img_url'] = div.xpath('./a.img/@src').extract_first() # 获取图片url detail_url = div.xpath('./a/@href').extract_first() # 获取详情页的url yield scrapy.Request(url=detail_url, callback=self.pares_detail, meta={'item': item}) def pares_detail(self, response): item = response.meta['item'] content = response.xpath('//div[@id="endText"]//text()').extract() item['content'] = ''.join(content).strip(' ') # 调用百度AI的接口，提取文章的类型和关键字 # 关键字 keys = self.client.keyword(item['title'].replace(u'xa0', u''), item['content'].replace(u'xa0', u'')) # 由于gbk格式报错，所以替换下 key_list = [] for dic in keys['items']: # 百度AI返回的是{items:{'score':0.89, 'tag':'手机'}} 这种类型 key_list.append(dic['tag']) # 添加分类 item['keys'] = ''.join(key_list) # 返回来的所有类型以字符串形式添加到item的keys属性中 # 类型（分类） kinds = self.client.topic(item['title'].replace(u'xa0', u''), item['content'].replace(u'xa0', u'')) item['kind'] = kinds['item']['lv1_tag_list'][0]['tag'] # 获得一级分页的分类 # print(item['keys'], item['kind']) yield item
items.py文件中
import scrapy class WangyinewproItem(scrapy.Item): # define the fields for your item here like: title = scrapy.Field() content = scrapy.Field() img_url = scrapy.Field() kind = scrapy.Field() keys = scrapy.Field()
下载中间件 middlewares.py中
# -*- coding: utf-8 -*- # Define here the models for your spider middleware # # See documentation in: # https://doc.scrapy.org/en/latest/topics/spider-middleware.html from scrapy import signals from time import sleep from scrapy.http import HtmlResponse # 新的响应对象 class WangyinewproDownloaderMiddleware(object): # Not all methods need to be defined. If a method is not defined, # scrapy acts as if the downloader middleware does not modify the # passed objects. def process_request(self, request, spider): return None def process_response(self, request, response, spider): # Called with the response returned from the downloader. # Must either; # - return a Response object # - return a Request object # - or raise IgnoreRequest # 其实url收到请求后，拦截后使用创建好的浏览器对象进行动态获取数据 if request.url in spider.news_url: # 如果当前其请求的url再四大板块中的url bro = spider.bro # 获取spider程序对象中的bro（浏览器实例化对象） bro.get(url=request.url) # 发送请求 sleep(5) js = 'window.scroll(0,document.body.scrollHeight)' # 滑动，整个body的高度 的js代码 bro.execute_script(js) # 执行滑动到底部的js sleep(1) # 等待一秒 bro.execute_script(js) # 执行滑动到底部的js sleep(1) # 等待一秒 bro.execute_script(js) # 执行滑动到底部的js sleep(1) # 等待一秒 # 我们需求中需要的数据源(携带了动态加载出来新闻数据的页面源码数据) page_text = bro.page_source # 创建一个新的响应对象，并且将上述获取的数据内容加载到该相应对象中 r = HtmlResponse( url=spider.bro.current_url, # 当前浏览器打开的url对应的url body=page_text, # 新的相应对象的内容是page_text encoding='utf-8', # 编码 request=request # 当前响应对应的request ) return r return response # 如果是其他的请求 不做拦截 def process_exception(self, request, exception, spider): pass
注意 先创建sql库和表
sql中 create database spider； use spider； create table news(title varchar(100),content text,img_url varchar(100),kind varchar(100),new_keys varchar(100))
管道pipelines.py文件中
# -*- coding: utf-8 -*- # Define your item pipelines here # # Don't forget to add your pipeline to the ITEM_PIPELINES setting # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html import pymysql class WangyinewproPipeline(object): conn = None cursor = None def open_spider(self, spider): self.conn = pymysql.Connect(host='127.0.0.1', port=3306, user='root', password='123', db='spider') print(self.conn) def process_item(self, item, spider): print(item) self.cursor = self.conn.cursor() sql = 'insert into news values("%s","%s","%s","%s","%s")' % ( item['title'], item['content'], item['img_url'], item['keys'], item['kind']) print(sql) try: self.cursor.execute(sql) self.conn.commit() except Exception as e: print(e) self.conn.rollback() return item def close_spider(self, spider): self.cursor.close() self.conn.close()
配置settings.py文件中
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' ROBOTSTXT_OBEY = False DOWNLOADER_MIDDLEWARES = { 'wangyinewPro.middlewares.WangyinewproDownloaderMiddleware': 543, } ITEM_PIPELINES = { 'wangyinewPro.pipelines.WangyinewproPipeline': 300, } COOKIES_ENABLED = False LOG_LEVEL = 'ERROR' RETRY_ENABLED = False