scrapy-splash的安装和使用

这次记录的scrapy-splash的安装和使用基本上是两种情况:一是win10比较新的版本+docker for windows;二是win10家庭版,win7(理论上win8也是)+docker toolbox

首先是win10比较新的版本+docker for windows:

前面基本是一键安装,因为docker for windows没有给你选择的地方

接着开启docker service,确认docker is running,就可以开始直接使用命令行操作

 镜像拉取成功,接下来安装scrapy-splash:

第一次开启scrapy-splash服务的时候会比较卡,耐心等待:

根据该网址下载:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/

 

记centos运行scrapy-splash的一个坑问题:centos系统安装好了docker,拉取了镜像scrapinghub/splash,运行起来,却一直得不到数据,并报如下错误:

 Retrying <GET https://list.jd.com/list.html?cat=1319%2C1523%2C7054&go=0# via http://139.159.149.185:8050/render.html> (failed 2 times): TCP connection timed out: 110: Connection timed out.

最终解决方法是:在settings.py文件中将

 

改成

上面的url是在我的windows7上可以使用的,下面的url测试在centos系统上可以使用的,详细原因还不知道,但是确实解决了问题。=-=

原文地址:https://www.cnblogs.com/-hjd/p/9739205.html