Mac环境下Docker及Splash的安装运行教程

一、前言

由于最近使用Python爬虫框架scrapy练习爬虫,在爬取动态网页的时候,需要用到splash,进行对动态网页进行JavaScript渲染,但是使用splash又必须安装Docker。因为对Docker比较陌生,只能进行恶补。其中很多教程是基础Linux和windows环境下的安装,Mac下的相对较少,今天基于我自己的实践,给大家分享一下Mac环境下的安装运行教程,有不妥的地方欢迎指正。

二、安装Splash之前需要安装Docker的原因

Splash是一个利用webkit或者基于webkit库 Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器,Splash是用Python实现的,同时使用Twisted和QT。官方文档解释是必须使用Docker容器!之所以用容器技术,好处是你可以一坨的安装好splash,而不必一点一点的去为安装splash填坑。

三、Mac下Docker下载及安装

下载地址传送

1、打开连接后找到如下图所示的位置,点击Mac图标,进入Mac下载页面

2、在下载页面,点击 Get Docker进行下载

3、下载完成后进行安装

四、按照如下命令进行安装运行Splash

1、安装命令:

docker pull scrapinghub/splash

2、运行命令:

docker run -p 8050:8050 -p 5023:5023 scrapinghub/splash

3、按照命令提示,在浏览器运行 localhost:8050

如果出现一下界面则证明运行成功。

之后你就可以愉快的玩耍Docker以及Splash了。

五、需要注意的地方

1、安装好splash之后,你可能访问不到,很大一定程度是你把ip弄错了,你访问的应该是你虚拟机的ip:8050,所以你首先要用ifconfig得到linux的ip地址,然后再在你本地浏览器输入ip:8050,则可打开如上图界面。因为网上查的都是liunx下的资料,ip直接用localhost就可以,一直访问不了,其实mac下面,docker splash是会虚拟出一个新的ip的,这个地址需要用上面的命令ifconfig查出。

2、你虚拟机地址可能每次重启都在变,所以你在渲染的时候一定要注意更改middleware里面ip的地址,不然无法渲染,你原因都找不到

最后再给大家一个Docker中文教程地址,以及Windows下的教程

原文地址:https://www.cnblogs.com/suxianglun/p/9012867.html