kolla管理openstack容器

本文以nova-api容器为例，说明kolla如何将nova-api配置文件传入容器，容器如何启动nova-api服务并读取配置文件

注:第一部分比较无趣，二三部分 会有意思一些

1. nova-api容器参数

  1. nova-api容器定义
    ansible.roles.nova.defaults.main.yml中定义了nova的所有容器及容器参数，下面的代码nova-api容器的定义， 注意代码中第一条， 对于所有容器kolla都有类似的定义：将/etc/kolla下的配置目录，作为volume挂载到容器内的/var/lib/kolla/config_files目录上，供容器启动时读取
  nova-api:
    container_name: "nova_api"
    group: "nova-api"
    image: "{{ nova_api_image_full }}"
    enabled: True
    privileged: True
    volumes:
	  # 将用户nova-api服务配置目录/etc/kolla/nova-api传入容器，映射为/var/lib/kolla/config_files/,并设置为只读
      - "{{ node_config_directory }}/nova-api/:{{ container_config_directory }}/:ro"
      # 容器时钟和虚拟机时钟同步
      - "/etc/localtime:/etc/localtime:ro"
      # 宿主机内核，mount给容器之后，容器可以启用宿主机未启用的内核模块
      - "/lib/modules:/lib/modules:ro"
      # openstack日志目录
      - "kolla_logs:/var/log/kolla/"
  1. nova-api容器操作定义
    ansible.roles.nova.handlers.main.yml中定义了对nova各个容器的操作及其参数，下面的代码是nova-api服务restart的参数，注意该函数的名称虽然是restart nova-api，但是action是recreate_or_restart_container，如果restart nova-api容器时，该容器不存在，restart函数会创建该容器并启动。
    由于nova的服务都是无状态应用，重启容器和重新创建容器没有区别，所以kolla在handler中仅仅定义了restart or recreate操作，但是对于mariadb容器，handler把创建和重启容器分开来，handler包括中定义了start_container，recreate_or_restart_container两个操作
- name: Restart nova-api container
  vars:
    service_name: "nova-api"
    service: "{{ nova_services[service_name] }}"
    config_json: 略
    nova_conf: 略
    policy_json: 略
    nova_api_container: 略
  kolla_docker:
    action: "recreate_or_restart_container"
    common_options: "{{ docker_common_options }}"
    name: "{{ service.container_name }}"
    image: "{{ service.image }}"
    privileged: "{{ service.privileged | default(False) }}"
    volumes: "{{ service.volumes|reject('equalto', '')|list }}"
  when:
    略
  1. nova-api容器创建
    ansible.library.kolla_docker.py中定义了所有容器创建的函数 create_container
    def create_container(self):
        self.changed = True
		# 获取创建容器的volume配置等容器创建参数
        options = self.build_container_options()
		# 调用docker driver创建容器
        self.dc.create_container(**options)
		
    def build_container_options(self):
	   #生成volume参数
        volumes, binds = self.generate_volumes()
        return {
            'detach': self.params.get('detach'),
            'environment': self._format_env_vars(),
            'host_config': self.build_host_config(binds),
            'labels': self.params.get('labels'),
            'image': self.params.get('image'),
            'name': self.params.get('name'),
            'volumes': volumes,
            'tty': True
        }
		
	 def generate_volumes(self):
	    # self.params在初始化时使用1中的kolla_docker参数定义
        volumes = self.params.get('volumes')
        # 解析字符串，略
        for vol in volumes:
           #解析字符串，略
		 return vol_list, vol_dict

2. 寻找nova-api容器的启动命令

  1. nova-api
    通过上面的步骤,kolla将nova-api容器创建出来并启动，并且将宿主机上的/etc/kolla/nova-api作为volume挂载到容器的/var/lib/kolla/config_files上。容器启动时，会执行容器docker file中的CMD命令。而nova-api的dockerfile位于kolla项目（不是kolla-ansible）的docker.nova.nova-api.Dockerfile.j2,内容如下：
    # 定义父镜像为nova-base镜像
    FROM {{ namespace }}/{{ image_prefix }}nova-base:{{ tag }}
    # 作者信息，略

    # 安装nova-api服务的步骤，略

    COPY extend_start.sh /usr/local/bin/kolla_nova_extend_start
    RUN chmod 755 /usr/local/bin/kolla_nova_extend_start
    USER nova

这个dockerfile定义了一个基于nova-base的nova-api镜像，在nova-base镜像的基础上，主要做了两件事：安装nova-api服务，复制extend_start.sh文件为kolla_nova_extend_start文件。

"/usr/local/bin/" 是环境变量PATH的默认值之一，将extend_start.sht文件拷贝到这个目录后，kolla_nova_extend_start成为容器里可以直接执行的一个命令。

Dockerfile中，对容器启动时执行的命令是这个定义的CMD ["可执行命令"], 在这个dockerfile中没有定义容器启动命令CMD。

  1. nova-base image
    我们再去看一下父镜像nova-base的Dockerfile：
    FROM {{ namespace }}/{{ image_prefix }}openstack-base:{{ tag }}
    LABEL maintainer="{{ maintainer }}" name="{{ image_name }}" build-date="{{ build_date }}"

    # 安装所有nova服务通用的rpm包，如：python-keystoneclient，nova-common，etc，代码略

    # 创建/etc/nova目录并设置权限
    COPY nova_sudoers /etc/sudoers.d/kolla_nova_sudoers
    RUN chmod 750 /etc/sudoers.d 
    && chmod 440 /etc/sudoers.d/kolla_nova_sudoers

    COPY extend_start.sh /usr/local/bin/kolla_extend_start

    RUN touch /usr/local/bin/kolla_nova_extend_start 
    && chmod 755 /usr/local/bin/kolla_extend_start /usr/local/bin/kolla_nova_extend_start

在这个文件里面，kolla复制extend_start.sh生成kolla_extend_start文件。这里依然没有定义CMD。

  1. openstack-base
    我们继续看这个镜像的父镜像openstack-base的Dockerfile：
    FROM {{ namespace }}/{{ image_prefix }}base:{{ tag }}

    # 安装openstack通用rpm包，如git，gcc，eventle，代码略

    ENV PATH /var/lib/kolla/venv/bin:$PATH

    RUN {{ macros.install_pip(openstack_base_pip_packages | customizable("pip_packages")) }}

在这里kolla设置了环境变量PATH=/var/lib/kolla/venv/bin，这个目录下存放了nova-api文件，这样nova-api成为可在容器里直接执行的命令

  1. base image
    继续看父镜像base的Dockerfile:
    FROM {{ base_image }}:{{ base_distro_tag }}

    # 创建用户组

    # 配置yum或者apt的源，pip源

    COPY set_configs.py /usr/local/bin/kolla_set_configs
    COPY start.sh /usr/local/bin/kolla_start
    COPY sudoers /etc/sudoers
    COPY curlrc /root/.curlrc

    # 安装并设置dumb-init
    # 创建 /var/log/kolla 并设置权限
    # 创建/usr/local/bin/kolla_extend_start 文件并设置权限
	
    CMD ["kolla_start"]

可以看到这里生成了kolla_start文件，并且将容器启动命令设置为kolla_start，由于base镜像是所有kolla镜像的公共镜像，所以，几乎所有kolla容器启动时，执行的命令，都是kolla_start命令，之所以说几乎，是因为有个别镜像重写了CMD

3. 通过kolla_start启动nova-api

kolla_start是一个shell脚本，内容如下：

#!/bin/bash
set -o errexit

# 解析 /var/lib/kolla/config_files/目录下的config.json，将config.json中的command写入/command文件，将config.json中的config_files拷贝到指定目录。 /var/lib/kolla/config_files是由我们在1.1中定义的/etc/kolla/nova-api目录映射而来。
sudo -E kolla_set_configs

# 获取config.json中的command内容，对于nova-api，它的值是"nova-api"
CMD=$(cat /run_command)
ARGS=""

#执行kolla_extend_start命令，设置nova日志目录的权限，并调用kolla_nova_extend_start命令，进行判断：如果是初始化nova-api服务，执行dbsync，如果不是，什么都不做
. kolla_extend_start

#执行nova-api命令，启动该服务
echo "Running command: '${CMD}${ARGS:+ $ARGS}'"
exec ${CMD} ${ARGS}

可以看出，所有的openstack服务都按照上面的流程启动，不同的服务：

  • 所有服务都使用/etc/kolla/服务名/config.json中command，作为服务的启动命令
  • 所有服务都使用/etc/kolla/服务名/config.json中config_files, 作为服务的配置文件
  • 所有服务都有相同的kolla_start脚本。这个脚本在kolla项目中存放的位置是kolla.docker.base.start.sh。这个脚本会先调用kolla_extend_start脚本, 然后执行服务启动命令。
  • 所有同一项目的服务有相同的kolla_extend_start脚本。以nova项目为例，这个脚本在kolla项目中存放的位置是kolla.docker.nova.nova_base.extend_start.sh。所有nova容器都使用这个脚本会创建项目日志目录，设置权限，调用容器内的kolla_nova_extend_start脚本。
  • 所有服务都有不同的kolla_项目名_extend_start脚本，以nova_api项目为例，这个脚本在kolla项目中存放的位置是kolla.docker.nova.nova_api.extend_start.sh。nova-api使用该脚本用来做服务启动前的db_sync, 垃圾清理等操作。
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/zhangyufei/p/7597032.html