python3.6使用scrapy报错

  用python做爬虫的,肯定熟悉scrapy,不过新手安装总是会遇到各种奇葩错误。

错误一building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

这是缺少库文件引起的。

  解决办法:下载一个软件安装就够了,链接: https://pan.baidu.com/s/1mkbVf7WBgdMRCDxrET05IQ 提取码: 384z

这个软件会安装所有的可能用的库文件,vc9、vc10、vc11、vc12、vc14,一次性解决所有。

  温馨提示:安装后,就得重新关闭cmd窗口后,重新打开才会生效。

错误二:ModuleNotFoundError: No module named ‘win32api’

  这个错误是找不到模块,需要安装pywin32,前往https://www.lfd.uci.edu/~gohlke/pythonlibs/,找到对于的pywin32下载whl文件(注意对应的python版本,系统位数)

  下载后,cmd到下载文件目录执行:pip install  下载的文件名

  最后再cmd 进入到python安装目录的scripts里面执行:python  pywin32_postinstall.py  -install

  这样就搞定啦。

错误三Unknown command: crawl

  这个错误应该是 执行   scrapy  crawl demo 时产生的

  查看自己是不是在项目根目录下执行,及scrapy.cfg所在的目录。

  

原文地址:https://www.cnblogs.com/myIvan/p/9797748.html