scrapy 停止爬虫

def __init__(self, crawler):     self.crawler = crawler      @classmethod def from_crawler(cls, crawler):     return cls(crawler) # 结束爬虫 self.crawler.engine.close_spider(spider, 'closespider')
上面是实现原理,实际上 scrapy.Spider 已经拥有了 crawler 属性,不必再像上面这样写。
在spider中可直接写:
1	self.crawler.engine.close_spider(self, 'closespider')
在 pipeline 和  中间件Middlewares  中:
1	spider.crawler.engine.close_spider(spider, 'closespider')

  

原文地址:https://www.cnblogs.com/du-jun/p/14736134.html