关于Redis缓存预热的思考

系统上线时,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题。

这里我考虑2个问题:

A、哪些数据需要预热?

B、如何预热?

关于问题A,根据不同的业务系统有不同的方法。

  1. 可以将已知的热门数据加载到Redis,这种方法适合于基本不变化的数据;
  2. 使用redis-faina(https://github.com/facebookarchive/redis-faina.git)实时监控Redis热key,但是因为redis-faina是通过调用Redis的monitor命令来实现的,可能降低Redis50%左右的性能,所以需要根据实际情况评估;
  3. 在proxy层,对每个请求进行收集上报,弊端就是需要修改proxy的代码,需要考虑开发成本和稳定性问题;
  4. Redis-cli --hotkyes 查询热点key,只适用于缓存淘汰策略是lfu的时候(https://yq.aliyun.com/articles/278922);
  5. TCP消息抓包,例如ELK体系下的packetbeat插件(https://www.elastic.co/guide/en/beats/packetbeat/current/index.html),可以实现对Redis、MySQL等众多主流服务的数据包抓取、分析、报表展示;
  6. 客户端上报,例如nginx+lua将访问量上报到kafka中,然后进行统计

关于如何预热:

找出了热点key之后,再根据自己的业务逻辑,到DB中查询数据填充到Redis中去。不过既然考虑预热,那么访问量、数据量都会很大,因此要考虑并行(提高预热速度)+ 限速(并发量太大的话,DB也处理不过来)。

 参考链接:

https://jzuekk.com/page/redis_6.html 

https://elasticsearch.cn/topic/PacketBeat

原文地址:https://www.cnblogs.com/dba-john/p/12102283.html