redis基础篇~内存篇

 
1 内存的计算公式
    used_memory_rss Redis进程占用的物理内存总量 这是直观在redis显示的,也是最关注的
    used_memory Redis分配器分配的内存总量,也是我们设置的maxmemor大小
    used_memory_peak_human  最大使用内存总量(峰值)
    mem_fragmentation_ratio used_memory_rss/used_memory比值,内存碎片率
    mem_allocator Redis所使用的内存分配器,默认jemalloc
2 调整redis内存大小
    config get max_memory
    conifg set maxmemory 4gb 内存
    config get max_memory
    config rewrite
3 内存碎片的影响
   mem_fragmentation_ratio的不同值,说明不同的情况。
    大于1:说明内存有碎片,一般在1到1.5之间是正常的。
    大于1.5:说明内存碎片率比较大,需要考虑是否要进行内存碎片清理,要引起重视。
    小于1:说明已经开始使用交换内存,也就是使用硬盘了,正常的内存不够用了,需要考虑是否要进行内存的扩容。
4 一些思想
    rss的占用是可以被redis回收掉的,峰值肯定要参考peak_hum
5 分析大key的占用
  1 安装rdb_tool工具
  2 进行分析
   redis-profiler rdb -f rdb.html 查看类型分布
   rdb -c memory rdb -f dmp.csv 根据内存进行排序导出的csv  csv文件大小小于rdb大小
  CREATE TABLE `table_name (

  `database_redis` varchar(255) DEFAULT NULL,
 ` type_redis` varchar(255) DEFAULT NULL,
  `key_redis` text,
  `size_in_bytes_redis` int(11) DEFAULT NULL,
  `encoding_redis` varchar(255) DEFAULT NULL,
  `num_elements_redis` varchar(255) DEFAULT NULL,
  `len_largest_element_redis` varchar(255) DEFAULT NULL,
  `expiry_redis` varchar(255) DEFAULT NULL,
  KEY `idx_type` (`type_redis`),
  KEY `idx_size` (`size_in_bytes_redis`),
  KEY `idx_expire` (`expiry_redis`)
  ) ENGINE=InnoDB DEFAULT CHARSET=utf8

LOAD DATA LOCAL INFILE 'csv_name' INTO TABLE table_name FIELDS TERMINATED BY ',' LINES TERMINATED BY ' ' IGNORE 1 LINES

 3 sql语句查看    

   select key_redis,concat(round(size_in_bytes_redis/1024/1024,2),'MB') as key_size from redis_db order by size_in_bytes_redis desc limit 100; 查看top100

   select type_redis,count(*) from redis_db group by type_redis;  查看redis key类型数量

   select key_redis from redis_db where expiry_redis is null ;  查看没有设置过期时间的key

6 4.0X版本之后的优化
   1 已经可以开始自动整理内存碎片了,设置相关参数
7 内存可能问题
   1 存在大量的key,有可能存在大key
   2 可能存在空间碎片
   3 没有设置过期策略
8 淘汰策略与数据删除
   1 所有的业务key 应该都需要设置过期时间,其中string比较特殊命令是setnx,其他类型都是exprie
   2 redis大部分情况对于已经过期的key,如果没有再次get,是不会进行删除的(这里要特别注意,我们通过redis info可以发现大量的过期key,但是没有被访问所以依然存在),造成了内存上的浪费,但是节省了cpu资源-惰性删除
   3 redis也会通过后台任务每十秒执行进行主动性的key删除,可以理解成为一个crontab,通过调整hz参数可以提高主动删除key的频率 -主动删除
   4 在到达maxmemory时也会触发过期key的删除
 9 关于rdb和内存一点补充
   redis内存数据>rdb文件>csv分析数据=mysql-table
   过期的key是不进入RDB文件,这也是为什么redis内存数据远远大于rdb文件
10 关注参数
   redis-info keys ,expires 
11关注监控图
    1 memory usage  内存使用率
    2 total items per DB  内存总量key的增长趋势,如果内存使用率增长,这里会同步增长
    3 expring or not expring keys  写入的key中 设置过期时间与没有设置过期时间的keys数量之比对应redis-info-expires  排除写入key无法呗淘汰的情况
12 高并发缓存概念
    1 缓存雪崩 - 针对redis服务down掉 或者 key集体失效   解决办法 是建立哨兵或者集群 key设置随机值进行间隔失效
    2 缓存穿透- 针对访问在redis中并不存在的key. 数据库也并不存在 可以采用布隆过滤器 或者设置空值应对同一key访问 
    3 缓存击穿-针对访问在redis中key(大部分情况已失效) 然后数据库中存在  延长过期时间或者设置永不过期
 

原文地址:https://www.cnblogs.com/danhuangpai/p/14717915.html