针对scrapy安装新建项目的各种疑难杂症

 之前安装下载各种模块,最后pip install scrapy安装scrapy爬虫框架。在针对爬取多个url的数据时,集成大量数据这时候需要用到scrapy爬虫。

这里放上一个scrapy安装教程链接:https://my.oschina.net/xtfjt1988/blog/364577

前天运行新建的scrapy项目时,scrapy shell+url。。。然后就报错了。

网上查看该错误,说的是python版本跟pywin32不匹配。我的天呐,各种尝试,以为是pywin32版本错误,不停下载、删除、安装、配置,最后进入python命令查看版本,结果发现python的版本是32bit的,于是在网上下载64位的python2.7.13,下载双击进行安装,覆盖前版本。这时候在cmd输入“python”查看版本,ok显示为64位了。

接下来满心欢喜打算一切搞定进入scrapy查看命令。exm??

心神俱疲哎,于是思考了一番,决定重新安装scrapy,那就表示那些个第三方模块都要卸载再重新安装!!注意,所有的第三方模块都卸了重装哎,这里拿出删除的其中一个例子。

将scrapy卸载后准备重装,先重装所需要的各个模块,例如pyOpenSSL Windows64位的链接:http://download.csdn.net/detail/mr_computer/7790587

再根据cmd提示的报错信息查找解决相关问题,no matter where,只要不再重复报一个错误就好了,问题很快的得到解决,主要是模块版本问题。

再例如最后一个报错,解决需要pip install twisted==13.1.0 模块版本一定要匹配!!!

ok,最后测试scrapy是否安装成功:

遇见错误了仔细去看,你遇见的问题大家都遇到过,不停地调试调试就好了。

原文地址:https://www.cnblogs.com/yang-ye/p/7088601.html