Redis(1.19)redis内存消耗、redis内存优化

参考自《redis开发与运维》

1. 内存消耗

1.1 内存使用统计

    info memory指令,重点内容如下:

    used_memory:redis内部数据所占内存总量

    used_memory_rss:从操作系统角度看redis占用的内存总量

    used_memory_peak:used_memory的峰值

    mem_fragmentation_ratio:内存碎片率,used_memory_rss/info memory

    如果内存碎片率大于1很多,则说明碎片化严重,如果小于1表示redis把内存里的数据交换到了硬盘,需要特别注意这个参数。

1.2 内存组成

    (1)自身内存:很小,可忽略不计

    (2)对象内存:包括redis中所有的key和对应的值所占的内存空间,因此应当避免过长的键,而值需要根据具体类型选择相应的编码。

    (3)缓冲内存:

        客户端缓冲:

        输入输出缓冲区,输入缓冲区不可控,最大1G,输出缓冲区可以通过client-output-buffer-limit 参数控制。

        普通客户端输出缓冲区:redis默认是不限制,一般普通客户端的内存消耗可以忽略不计,但某些指令如monitor就需要特别关注。

        从客户端输出缓冲区:默认为client-output-buffer-limit slave256mb64mb60,当主从节点网络不好(如跨机房)或者主节点挂载多个从节点时,可能导致输出缓冲区过大。

        订阅客户端输出缓冲区:默认为client-output-buffer-limit pubsub32mb8mb60,当消息生产者消息生成过快而消费速度过慢时,也有可能造成输出缓冲区溢出

        复制积压缓冲区:redis2.8后才有,在主节点中存在,和所有从节点共享,用于实现部分复制功能,可以通过参数repl-backlog-size适当调大(如100M),它可以有效避免全量复制,默认为1M。

        AOF缓冲区:用于redis在使用AOF方式时持久化数据到磁盘,无法控制,内存消耗取决于AOF持久时间和写入命令量。一般较小。

    (4)内存碎片:根redis内存分配有关

        redis默认使用jemalloc进行内存分配。它将内存空间划分为小、中、大三个范围,每个范围又划分为多个小的内存块单位,比如保存5k对象时,需要用8k的块进行存储,一定程度上会出现内存碎片。内存碎片率正常在1.03左右。

    内存碎片出现场景:频繁做更新操作,如对已经存在的键做append、setrange操作;大量过期键删除,释放的空间不能有效利用时。

    内存碎片解决方案:安全重启(单实例则直接重启服务,有主从集群等关系就切换节点为从节点然后重启服务)和数据对齐(数据尽量采用固定长度字符串或数字类型)

     

1.3 子进程内存消耗

    当redis在执行AOF或RDB持久化时,需要fork一个子进程来进行持久化,而子进程的内存消耗和父进程相同,因此Linux出现了写时复制的技术,即父进程只有在写的时候才会复制相关页,而子进程读取父进程的内存进行持久化,即子进程读取的是fork时的父进程内存快照。

    THP问题:即父进程在复制相关内存时由原来的4k(内存页单位)变成2M,如果父进程有大量写,会加重内存拷贝,从而造成过度内存消耗。因此需要关闭THP功能。

2. 内存管理

2.1 设置内存上限

    maxmemory限制最大可用内存,可用防止redis的内存超过物理内存。

    注意:maxmemory是redis实际使用的内存量,也就是used_memory统计的内存,即对象内存区域,不包括缓冲区、内存碎片,因此需要注意这部分内存溢出。

2.2 动态调整内存上限

    通过config set maxmemory进行动态修改最大可用内存。

    2.3 内存回收策略

2.3.1 删除过期键对象

    redis 会将每个设置了过期时间的 key 放入到一个独立的字典中,以后会定时遍历这个字典来删除到期的 key。

    惰性删除,当客户端读取带有超时属性的键时,如果该键已经过时,那么删除该键值,并返回空。如果过期键一直没有读取,则不会及时释放。因此有了定时任务删除模式。

    定期任务删除: Redis 默认会每秒进行10次(通过hz控制)过期扫描,过期扫描不会遍历过期字典中所有的 key,而是采用了一种简单的贪心策略。

        从过期字典中随机 20 个 key;
        删除这 20 个 key 中已经过期的 key;
        如果过期的 key 比率超过 1/4,那就重复步骤 1;

 该策略中采用了自适应快慢两种算法运行模式来回收键,流程如下:

 1)定时任务在每个数据库空间随机检查20个键,发现过期时删除对应的键。

 2)如果检索出来的键超过25%都是过期的键,那么将会循环执行回收逻辑操作 直到比例不足 25% 或运行到超时为止(为了避免过期扫描或者循环回收过度导致卡死,慢模式回收默认是25毫秒超时)

 3)如果之前的回收键逻辑超时,则在 Redis出发内部事件之前再次以快模式运行回收过期任务,快模式下超时时间为1毫秒,且 2 秒内只能运行一次。

 4)快慢模式的内部删除回收逻辑相同,只是超时事件不同罢了。

    如果某一时刻,有大量key同时过期,Redis 会持续扫描过期字典,造成客户端响应卡顿,因此设置过期时间时,就尽量避免这个问题,在设置过期时间时,可以给过期时间设置一个随机范围,避免同一时刻过期。

2.3.2 内存溢出控制策略

    (1)noeviction:默认策略,不删除数据,也拒绝写入,即redis变成只读操作。

    (2)volatile-lru:根据LRU算法删除设置了超时属性的键,直到有足够的空间为止。如果没有可删除对象,回退到默认策略。

    (3)allkeys-lru:根据lru算法删除键,不管数据是否设置了超时属性,直到腾出足够空间为止

    (4)allkeys-random:随机删除所有键,直到腾出足够空间为止。

    (5)volatile-random:随机删除过期键,直到腾出足够空间为止。

    (6)volatile-ttl:根据键值对象的ttl属性删除最近将要过期数据,如果没有回退到默认策略

    内存溢出控制策略可以采用config set maxmemory-policy{policy}动态配置。当Redis一直工作在内存溢出(used_memory>maxmemory)的状态下且设置非noeviction策略时,会频繁地触发回收内存的操作,影响Redis的性能。建议线上Redis内存工作在maxmemory>used_memory状态下,避免频繁内存回收开销。

3.内存优化

3.1 redisObject对象

Redis存储的所有值对象在内部定义为redisObject结构体,如下图所示:

   

    高并发写入场景中,在条件允许的情况下,建议字符串长度控制在39字节以内,减少创建redisObject内存分配次数,从而提高性能。

3.2 缩减键值对象

    降低Redis内存使用最直接的方式就是缩减键(key)和值(value)的长度。

    ·key长度:如在设计键时,在完整描述业务情况下,键值越短越好。

    ·value长度:值对象缩减比较复杂,一般为二进制数组或格式化存储(如json)。

    在业务上精简对象,去掉不必要的属性

    二进制数组在序列化时,选择更高效的序列化工具来降低字节数组大小

    通用格式存储数据时,应考虑压缩速度和计算成本,如Google的Snappy压缩工具,降低存储空间。

3.3 共享对象池

    共享对象池是指Redis内部维护[0-9999]的整数对象池。创建大量的整数类型redisObject存在内存开销,每个redisObject内部结构至少占16字节,甚至超过了整数自身空间消耗。所以Redis内存维护一个[0-9999]的整数对象池,用于节约内存。除了整数值对象,其他类型如list、hash、set、zset内部元素也可以使用整数对象池。因此开发中在满足需求的前提下,尽量使用整数对象以节省内存。

    可以通过object refcount key 命令查看对象引用数。假设set foo 100,set bar 100这2个指令执行完后,这内存变成如下图所示:

     

    注意:以下情况无法使用共享对象

    内存回收策略为maxmemory+LRU时

    值对象编码为ziplist时,因为ziplist使用压缩且内存连续的结构,对象共享判断成本过高

3.4 字符串优化

    redis没有采用原生C的字符串类型,而是进行了封装,包括字符串已用长度、空闲长度、字符数组3个部分组成。内部实现空间预分配机制。第一次set时,正常分配,第二次使用append或setrange时,会进行空间的动态扩展,类似Java的ArrayList动态扩容机制,造成内存空间的浪费和内存碎片化加剧。因此在开发时,不要使用append或setrange指令。直接使用 set 

    字符串重构,对于json作为值时,可以使用hash结构进行重构优化。这样能提高内存使用率,可以使用hmget和hmset读取和修改部分字段,降低网络开销。

3.5 编码优化

    在redis中,每种类型都对应一个或多个底层数据结构,我们称之为值的编码,编码不同将直接影响数据的内存占用和读写效率。可通过object encoding key来查询。

    编码类型在redis写入数据时自动完成,这个过程是不可逆的,转化规则只能从小内存编码向大内存编码转换。

   

    3.5.1 ziplist编码

    ziplist编码主要目的是为了节约内存,因此所有数据都是采用线性连续的内存结构。ziplist编码是应用范围最广的一种,可以分别作为hash、list、zset类型的底层数据结构实现。

    

    ziplist压缩编码的性能表现跟值长度和元素个数密切相关,正因为如此Redis提供了{type}-max-ziplist-value和{type}-max-ziplist-entries相关参数来做控制ziplist编码转换。最后再次强调使用ziplist压缩编码的原则:追求空间和时间的平衡,即减少内存空间的占用,但读写性能会降低。

    针对性能要求较高的场景使用ziplist,建议长度不要超过1000,每个元素大小控制在512字节以内。

    命令平均耗时使用info Commandstats命令获取,包含每个命令调用次数、总耗时、平均耗时,单位为微秒。

 3.6 控制键的数量

    当使用Redis存储大量数据时,通常会存在大量键,过多的键同样会消耗大量内存。Redis本质是一个数据结构服务器,它为我们提供多种数据结构,如hash、list、set、zset等。使用Redis时不要进入一个误区,大量使用get/set这样的API,把Redis当成Memcached使用。对于存储相同的数据内容利用Redis的数据结构降低外层键的数量,也可以节省大量内存。

    使用hash重构后节省内存量效果非常明显,特别对于存储小对象的场景,下面分析这种内存优化技巧的关键点:

    (1)hash类型节省内存的原理是使用ziplist编码,如果使用hashtable编码方式反而会增加内存消耗。

    (2)ziplist长度需要控制在1000以内,否则读写长列表会导致CPU消耗严重,得不偿失。

    (3)ziplist适合存储小对象,对于大对象不但内存优化效果不明显还会增加命令操作耗时。

    (4)需要预估键的规模,从而确定每个hash结构需要存储的元素数量。

    (5)根据hash长度和元素大小,调整hash-max-ziplist-entries和hash-max-ziplist-value参数,确保hash类型使用ziplist编码。

    缺点:

        hash重构后所有的键无法再使用超时(expire)和LRU淘汰机制自动删除,需要手动维护删除。

        对于大对象,如1KB以上的对象,使用hash-ziplist结构控制键数量反而得不偿失。

    优点:

        对于大量小对象的存储场景,非常适合使用ziplist编码的hash类型控制键的规模来降低内存。

转自:https://blog.csdn.net/zhaocuit/article/details/90548716

原文地址:https://www.cnblogs.com/gered/p/13359143.html