怎么安装Scrapy框架以及安装时出现的一系列错误(win7 64位 python3 pycharm)

因为要学习爬虫,就打算安装Scrapy框架,以下是我安装该模块的步骤,适合于刚入门的小白:

一、打开pycharm,依次点击File---->setting---->Project----->Project Interpreter,打开后,可以看到你已安装好的包,点击右边的+号,在搜索栏中搜索Scrapy,点击Install Package,等候几秒,如果出现successfully,那么恭喜你安装成功。可惜的是,我在安装的时候,出现了error,所以接下来使用pip来安装。

二、直接打开cmd命令行,然后用命令转到Scripts目录下

三、输入pip install Scapy,出现了Microsoft Visual C++ 14.0 is required的错误,给了我个链接,让我下载Microsoft Visual C++ 14.0,然而这个链接打不开。以前也出现过这个错误,当时懒得下载这玩意儿,现在也是,所以我又网上搜了下解决方法,有人说应该是Scraft的依赖包的问题,要先下载Twisted。

四、然后我运行了pip install Twisted,出现同样错误,又一次百度,说是可以直接去下载Twisted包,所以通过https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted链接我又将包下下来了。

五、通过网上的方法,我使用pip install F:\Twisted-18.7.0-cp27-cp27m-win_amd64.whl

六、出现Twisted-18.7.0-cp27-cp27m-win_amd64.whl is not a surpported wheel on this platform的错误,又百度了下,发现可能我下载的版本不对。

七、解决方法是在cmd输入python,进入python编写模式,输入import pip回车,输入print(pip.pep425tags.get_supported()),这样会显示你的pip支持的版本,根据这个版本下载相应的whl文件。

八、出现module 'pip' has no attribute 'pep425tags'的错误,发现win7 64位应该输入

import pip._internal

print(pip._internal.pep425tags.get_supported())

 九、接着下载Twisted-18.7.0-cp36-cp36m-win_amd64.whl,Ctrl+Z回到cmd命令行模式,输入pip install F:\Twisted-18.7.0-cp36-cp36m-win_amd64.whl

通过以上方法都无法解决库的安装问题的话,可以采用以下操作:

1)到https://pypi.org/project/网站找到自己要安装的包,点击Download files,找到合适的文件进行下载。然后再进行pip install 你下载的包

2)copy别人的venv到自己电脑上,然后在pycharm里配置好就行了。(有的时候配置时报错,有可能是缺少对应版本的python)

3)从别人的venv文件夹里的site-packages将对应文件夹copy到自己的site-packages文件夹下面,注意一般对应有两个文件夹,有一个文件夹名后面带dist-info

原文地址:https://www.cnblogs.com/zhuangzi101/p/9318578.html