python3之scrapy安装使用

需要安装的包

pip install scrapy selenium 

可能需要卸载重装的模块   lxml cryptography  cffi  pypiwin32

pip uninstall xxx

pip install xxx

下载安装chromedriver，它的版本要和chrome版本对应起来，在win10上如果出现权限错误，先手工运行一下就好。

ChromeDriver 2.44

 

Supports Chrome v69-71

地址为： https://sites.google.com/a/chromium.org/chromedriver/downloads

在scrapy.cfg同级目录下创建启动文件start.py

from scrapy import cmdline


cmdline.execute("scrapy crawl project".split())

spider.browser.implicitly_wait(10)，这个是智能等待

scrapy.http.Request(url=req_url, meta={"mode" : "rate"}, callback=self.htmlparse, dont_filter=True) dont_filter这个是允许重复，不去重的。