scrapy使用selenium时在爬虫类中关闭浏览器的方法

from scrapy import signals
# 此为官方推荐的信号使用方法,用来关闭浏览器
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):

   spider = super(YourSpider, cls).from_crawler(crawler, *args, **kwargs)
   crawler.signals.connect(spider.closeSpider, signals.spider_closed)
   return spider

def closeSpider(self):
   self.driver.quit()

# 说明
# spider.closeSpider是为了调用 def closeSpider(self):方法
# signals.spider_closed 发出信号,当爬虫关闭时调用,更可以使用spider_opened等各种方法,这些在源码中都可以找到

def parse(self, response):
  pass

这里是官方提供的最新的方法,在自己的爬虫类中添加以上两个方法

原文地址:https://www.cnblogs.com/yoyowin/p/12402800.html