centos7+docker 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker

1.先决条件centos7+docker最新版本

 sudo yum updat

2.配置一下镜像源,创建/etc/docker/daemon.conf文件,在其中输入如下内容

{
 "registry-mirrors": ["https://registry.docker-cn.com"]
}

3.启动docker命令:

systemctl start docker 

重启docker服务:

service docker restart

4.查看和下载Crawlab的镜像命令 :

docker search crawlab                   #(查找Crawlab镜像)
docker pull tikazyq/crawlab:latest       #(下载Crawlab镜像)

5.创建docker组:

sudo groupadd docker    (删除docker这个用户:userdel -r docker)

6.centos7查看所有用户:

cut -d : -f 1 /etc/group

7.将您的用户添加到该docker用户组,命令:

sudo usermod -aG docker 用户名

8.查看“docker”组下的所有用户,命令:

  grep 'docker' /etc/group

9.Docker Compose安装

sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

稍等片刻,有点慢!!!!

赋权:

sudo chmod +x /usr/local/bin/docker-compose

查看版本:

docker-compose --version

10.查找docker-compose.yml文件位置:

find / -name "docker-compose.yml*"

(会出现find: ‘/run/user/1000/gvfs’: 权限不够,执行:umount /run/user/1000/gvfsrm -rf /run/user/1000/gvfs,再执行就不会出错了!!!

11.图中:

/var/lib/docker/overlay2/50df4de9bf340501cade27650953ad983948b10e13bbe931710ef090ab1a4602/diff/app/docker-compose.yml-----------是我的路径

cd 到app目录就可以了

vim docker-compose.yml   #编辑

注意: 新版镜像的CRAWLAB_API_ADDRESS是这样的: CRAWLAB_API_ADDRESS: "http://192.168.157.128:8000"

12.启动 Crawlab

​ cd 进入到docker-compose.yml 所在文件目录下

​ 才能运行:docker-compose up 集群启动容器,否则找不到文件

查看woker容器日志命令:docker-compose logs worker

正常会启动四个容器:master、woker、redis、mongo

第一次次启动会下载安装并配置节点和数据库(redis 和mongodb)

img

13.Crawlab

浏览器访问 :http://ip:8080 用户名密码是 admin/admin

第一次访问没问题,但是第二次启动会报各种错,博主正在研究中-----持续更新中!!!

我命由我,不由天
原文地址:https://www.cnblogs.com/duhy/p/12028408.html