Scrapy学习之路(一)————环境配置

一、问题环境安装

首先scrapy这个爬虫框架是基于twisted完成的因此,在安装scrapy之前需要安装twisted。
否则直接安装scrapy就会直接出错:Failed building wheel for twisted。

 

二、解决
首先下载twisted的.whl文件,也包括其他的包可以下载,下载完成后 pip install 【下载路径】,就可以看到环境安装成功,再来安装scrapy:pip install scrapy。

三、总结

安装成功后比较简单,开始总以为会自己安装scrapy的所有包,但是不是这样的,直接安装会发现wheel无法创建twisted的环境,一直在失败所以需要自己安装twisted的.whl文件在来安装scrapy

原文地址:https://www.cnblogs.com/future-dream/p/10645431.html