Scrapy 对接selenium
# 在爬虫启动后,就只打开一个chrom浏览器,以后都用这单独一个浏览器来爬数据 # 1 在爬虫中创建bro对象
from selenium import webdriver
bro = webdriver.Chrome() # 2 中间件中使用: from scrapy.http import HtmlResponse spider.bro.get(request.url) text=spider.bro.page_source response=HtmlResponse(url=request.url,status=200,body=text.encode('utf-8')) return response # 3 关闭,在爬虫中 def close(self, reason): self.bro.close()