OpenStack中memcached的使用和实现

概述

主要分享下个人对Liberty版本openstack中cache使用的理解,由于作者水平有限,难免有所错误,疏漏,还望批评指正。

openstack中可以使用cache层来缓存数据,Liberty版本主要有以下几种场景:

  • 存储函数执行结果 keystone heat nova等项目把一些固定的属性和查询请求的结果放到cache里面,加速访问。
  • 存储keystone token token创建完成之后,不需要修改,会有大量的读操作,适合放到cache中
  • 存储keystonemiddleware token 为neutron,cinder,nova等各个项目缓存从keystone获得的token。
  • 存储horizon用户会话数据 主要是django支持使用

存储函数执行结果

优势在于,很多查询函数的结果是固定的,但是又比较常用,查询一次之后,按照key-value存到cache中,再次查询时不需要访问数据库,直接从内存缓存中根据key将结果取出,可以提高很多速度。或者还有一些查询请求,查询的参数千变万化,但是结果只有固定的几类,这种更适合使用cache加速。

Liberty 版本openstack主要是nova和keystone这方面用的比较多,来看nova中的一个例子:

def get_instance_availability_zone(context, instance):
    """Return availability zone of specified instance."""
    host = instance.get('host')
    if not host:
        # 如果虚拟机还没有被分配到主机上,就把创建虚拟机时指定的zone信息取出返回
        az = instance.get('availability_zone')
        return az

    #虚拟机所在的zone取决于虚拟机所在物理机的归属的zone,所以可以生成一个
    #'azcache-主机名'样式的字符串作为cache key      
    cache_key = _make_cache_key(host)
    #获取一个连接cache的client
    cache = _get_cache()
    #尝试取出这个key在cache中的值,作为zone信息,可能为空,也可能直接是结果
    az = cache.get(cache_key)
    #取出实例对象中的availability_zone属性
    az_inst = instance.get('availability_zone')
    if az_inst is not None and az != az_inst:
        #对象属性中有zone信息,且和cache取到的zone信息不一致,那么需要重新获取zone信息
        #并且更新到cache中
        az = None
    if not az:
        #如果cache中没有取到zone信息,或者是在上一步中zone信息被清空,重新获取zone信息
        elevated = context.elevated()
        az = get_host_availability_zone(elevated, host)
        #更新cache
        cache.set(cache_key, az)
    #返回zone信息
    return az  

这样除第一次查询到这台物理机上的虚拟机外,查询这台物理机上的任何虚拟机所属的zone,再也不需要访问数据库,这样极大地减少了对数据库的请求数量,提高了响应速度。
这里支持的cache后端包括memcached,redis,mongondb或者是python的dict.目前主流openstack发行版推荐的选项是memcached,简单稳定,性能和功能够用。

存储keystone token

keystone中除了Fernet格式的token外,其他格式的token都需要keystone由存储起来,存储支持以下几种driver:

  • sql 将token存放在数据库中,使用这种方法需要定期清理过期token,防止token表太大影响性能。
  • memcache 将token存放到memcache中,token本身创建之后不会被修改,只会被读,所以很适合放到cache中,加速访问,放到cache中也不需要写脚本定期清理数据库中的过期token。
  • memcache_pool 在memcache的基础上,实现了memcache的连接池,可以在线程之间复用连接。

一个常见的memcache token driver的配置可能是这样的:

[token]
caching = true
provider = keystone.token.providers.uuid.Provider
driver = keystone.token.persistence.backends.memcache.Token
[memcache]
servers = controller-1:11211,controller-2:11211,controller-3:11211

memcache driver的缺点在于,memcache本身是分布式的设计,但是并不是高可用的,如果controller-1上的的cache服务被重启,这个节点上的所有token都会丢失掉,会带来一些错误。

比这更糟糕的是,如果controller1网络不可达或者宕机,那么我们会观察到几乎每个openstack api请求都会有3s以上的卡顿。这是因为openstack默认使用python-memcached访问memcache,它提供的操作keystone的client继承自Thread.local类,和构建它的线程绑定。openstack服务启动后,会启动一定数量的子进程,每个http request到达,会有一个子进程接收,孵化一个线程去处理这个请求。如果用到memcache,线程会调用python-memcached
构建一个client类,通过这个client的实例对memcache进行操作。如果访问到网络不可达的memcache节点,卡住,操作超时,将这个节点标识为30秒内不可用,在这个线程内,不会再因此而卡住,但是这个http请求结束之后,下一个http请求过来,重新孵化的线程会reinit这个client,新的client丢失了旧的client的状态,还是可能会访问到卡住的memcache节点上。

社区之所以要做memcache_pool,就是为了解决这个问题,将client统一由pool管理起来,memcache节点的状态,也由pool管理起来,这样每个子进程里只会卡第一次,所以强烈推荐使用memcache_pool驱动而不是memcache。社区将memcache_pool的代码从keystone复制到oslo_cache项目中,希望所有使用memcache的项目都通过它的memcachepool去访问,避免这个问题。其中,nova在M版本支持,heat在L版本支持。

具体的各个服务如何配置使用memcache_pool driver这里不再赘述。

存储keystonemiddleware token

我们请求任何openstack服务时,该服务都要校验请求中提供的token是否合理,这部分代码显然不是每个项目都自己实现一遍,它在keystonemiddleware项目实现,并作为filter配置在各个项目的api-paste.ini文件中,如下所示:

[filter:authtoken]
paste.filter_factory = keystonemiddleware.auth_token:filter_factory

当请求到达服务时,由keystonemiddleware访问keystone来查询请求携带的token是否合法,通常我们一个token会使用很多次,所以keystonemiddleware建议使用memcache缓存,把从keystone取到的token缓存一段时间,默认是300秒,以减少对keystone的压力,提高性能。kolla项目中nova keystonemiddleware配置示例如下:

[keystone_authtoken]
[keystone_authtoken]
auth_uri = {{ internal_protocol }}://{{ kolla_internal_fqdn }}:{{ keystone_public_port }}
auth_url = {{ admin_protocol }}://{{ kolla_internal_fqdn }}:{{ keystone_admin_port }}
auth_plugin = password
project_domain_id = default
user_domain_id = default
project_name = service
username = {{ nova_keystone_user }}
password = {{ nova_keystone_password }}

memcache_security_strategy = ENCRYPT
memcache_secret_key = {{ memcache_secret_key }}
memcached_servers = {% for host in groups['memcached'] %}{{ hostvars[host]['ansible_' + hostvars[host]['api_interface']]['ipv4']['address'] }}:{{ memcached_port }}{% if not loop.last %},{% endif %}{% endfor %}

一直以来,如果不配置其中的memcached_servers的的话,每个服务每个子进程都会创建一个字典作为cache存放从keystone获得的token,但是字典内容都是相似的,如果使用统一的memcache,就不会有这方面的问题。现在master版本keystonemiddleware认为这是不合适的,会导致不一致的结果和较高的内存占用,计划在N或者O版本移除这个特性。

存储horizon用户会话数据

这个是django支持的功能,这里不作讨论,有兴趣的可以看The Django Book 2.0--中文版

总结

cache相关的具体的配置项可以参考kolla项目中的cache配置,应该还是准确合适的。

原文地址:https://www.cnblogs.com/zhangyufei/p/5565648.html