Python的scrapy框架安装Tips

啊啊,为了更酷炫地用python爬取资源,按照网上建议去下载scrapy。

关于scrapy,网上介绍很多,下载安装教程也很多,也都对。

只不过不同的机子、不同的python版本、不同的网速等等因素,要采用的方法都不大一样。

其实pip install scrapy按道理说,网速够快足够稳定并且没有阻碍拦截应该是不会报错的。

可是问题就出在网速上,所以最近校园网犯毛病的我只好一遍遍搜寻scrapy的各个模块,手动下载然后在下载到的根目录下pip install。

涉及到的模块

其中有的不属于scrapy,但是需要他们支持scrapy,我下载的有如下:

pyOpenSSL

Twisted

PyWin32

CFFI

cryptography

lxml

zope.interface

cssselect

一般常见模块可以在下面的网址下载:

https://www.lfd.uci.edu/~gohlke/pythonlibs/   

上面有几个模块在这个网站没有资源,点击链接会转到github上,当然这些也可以去官网下载,不过效果和pip install区别不算太大。

这类模块的建议就是直接pip,但是因为网速不稳定会经常断开然后报错,处理方法就是一遍遍按⬆重试,然后回车。

祝大家好运!

原文地址:https://www.cnblogs.com/AnEKiller/p/11552813.html