win7中python3.4下安装scrapy爬虫框架(亲测可用)

貌似最新的scrapy已经支持python3,但是错误挺多的,以下为在win7中的安装步骤:

1、首先需要安装Scrapy的依赖包,包括parsel, w3lib, cryptography, pyOpenSSL,twisted,lxml

其中,twisted和lxml的安装包可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的安装包(我的是win64,python34)

pip install Twisted-17.1.0-cp34-cp34m-win_amd64.whl安装,lxml同理。

2、pip命令直接安装parsel, w3lib, cryptography, pyOpenSSL。

3、安装过程中可能出现win32api报错,知道到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/下载对应版本安装即可。

4、最后安装scrapy

    pip install scrapy

至此,安装完成!

原文地址:https://www.cnblogs.com/dotafeiying/p/7016853.html