互联网存储架构弹性扩容案例

     互联网业务持续增长需要存储架构设计也能够弹性扩容。让我们来看看:

RocksDB

RocksDB是facebook开源的NOSQL存储系统,其设计是基于Google开源的LevelDB,优化了LevelDB中存在的一些问题,其性能要比LevelDB强,设计与LevelDB极其类似。RocksDB 具有高度灵活的配置设置,可以调整为在各种生产环境(包括纯内存,闪存,硬盘或 HDFS)上运行。它支持各种压缩算法,并且有生产和调试环境的各种便利工具。RocksDB 借用了来自开源 LevelDB 项目的核心代码,以及来自 Apache HBase 的重要思想。RocksDB 的主要设计点是,它应该是快速存储和服务器工作负载的性能而设计。它应充分利用 Flash 或 RAM 提供的高速读/写速率的全部潜力。它应该支持高效的点查找以及范围扫描。它应该可配置为支持高随机读取工作负载,高更新工作负载或两者的组合。其架构应支持轻松调整参数,支持读取放大,写入放大和空间放大场景。

RocksDB适用场景      
1.对写性能要求很高,同时有较大内存来缓存SST块以提供快速读的场景;    
2.SSD等对写放大比较敏感以及磁盘等对随机写比较敏感的场景
3.需要变长kv存储的场景; 
4.小规模元数据的存取;

不适合场景
1.大value的场景,需要做kv分离;2.大规模数据的存取


系统架构

image


image


image

image

image

image
image
image
image
image
image
image
image
image

基于Redis的弹性扩容

image


Related Links:

https://github.com/CodisLabs/codis
https://redis.io/
https://github.com/facebook/rocksdb
http://myrocks.io/
https://github.com/mongodb-partners/mongo-rocks
https://zookeeper.apache.org/
https://github.com/twitter/twemproxy
https://hbase.apache.org/
https://www.percona.com/live/data-performance-conference-2016/sessions/rocksdb-key-value-store-optimized-flash-based-ssd

------------------------------------------------------------------

今天先到这儿,希望对您在系统架构设计,基础设施研发,团队管理, 项目管理, 产品管理,团队建设 有参考作用 , 您可能感兴趣的文章:
国际化环境下系统架构演化
微服务架构设计
基于Kubernates微服务案例
视频直播平台的系统架构演化
微服务与Docker介绍
Docker与CI持续集成/CD
互联网电商购物车架构演变案例
互联网业务场景下消息队列架构
互联网高效研发团队管理演进之一
消息系统架构设计演进
互联网电商搜索架构演化之一
企业信息化与软件工程的迷思
企业项目化管理介绍
软件项目成功之要素
人际沟通风格介绍一
精益IT组织与分享式领导
学习型组织与企业
企业创新文化与等级观念
组织目标与个人目标
初创公司人才招聘与管理
人才公司环境与企业文化
企业文化、团队文化与知识共享
高效能的团队建设
项目管理沟通计划
构建高效的研发与自动化运维
某大型电商云平台实践
互联网数据库架构设计思路
IT基础架构规划方案一(网络系统规划)
餐饮行业解决方案之客户分析流程
餐饮行业解决方案之采购战略制定与实施流程
餐饮行业解决方案之业务设计流程
供应链需求调研CheckList
企业应用之性能实时度量系统演变

如有想了解更多软件设计与架构, 系统IT,企业信息化, 团队管理 资讯,请关注我的微信订阅号:

MegadotnetMicroMsg_thumb1_thumb1_thu[2]



作者:Petter Liu
出处:http://www.cnblogs.com/wintersun/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
该文章也同时发布在我的独立博客中-Petter Liu Blog

原文地址:https://www.cnblogs.com/wintersun/p/8849622.html